Парсинг Яндекс Карт через ZennoPoster, 2 часть – кейс №3

777

В первой части я рассказывал о том как можно создать быстрый парсинг нужных данных об организациях через программу ZennoPoster. Теперь настала очередь обсудить сам процесс обработки данных и улучшения кейса, чтобы данные записывались в таблицу быстрее, а также были более информативными (больше колонок).
Парсинг Яндекс Карт через ZennoPoster

Оптимизация скрипта

На данный момент прежний экшен был практически полностью переработан в связи с тем, что неудобно парсить только 1 город + записывать напрямую в базу данных MYSQL через ZennoPoster также занимает определенное время. Сейчас можно очень быстро спарсить все города России…, но по одному, конечно, городу за 1 раз. В дальнейшем просто можно объединять ячейки таблицы, чтобы ускорить процесс.
Итак, что было сделано:

  • Для начала было бы удобнее выбирать город уже из готового списка, нежели выбирать его номер из текста в папке или вручную вписывать в поле ввода(см. скриншот выше).
  • Также было удобнее взять несколько API ключей, в случае если один из них будет неактуален или закончатся запросы за день (автоматический процесс).
  • Кроме этого, можно установить вручную количество запросов парсинга Яндекс Карт (удобно, если у вас ограниченное количество API запросов).

Парсинг Яндекс Карт через ZennoPoster

Результат парсинга

Вывод данных осуществляется в популярный формат .CSV, а разделителями колонок являются значения “;”. Текст в Юникоде (UTF-8).
Парсинг Яндекс Карт через ZennoPoster
Время потраченное на парсинг составляет менее минуты с помощью скрипта, что намного облегчает ручную работу по сбору данных. Особенно это актуально для Москвы и Санкт-Петербурга, где количество организации может составлять несколько сотен, а то и тысяч.

Парсинг Яндекс Карт через ZennoPoster

Парсинг Яндекс Карт через ZennoPoster

Итоги

Экшен делает за вас всю ручную работу (ну, или почти всю). Единственное действие, которое вам необходимо сделать далее, это убрать лишние данные, так как Яндекс не всегда собирает именно то, что вы имели в виду в запросе!

Заказать парсинг можно тут

Парсинг Яндекс Карт