В первой части я рассказывал о том как можно создать быстрый парсинг нужных данных об организациях через программу :ZennoPoster:. Теперь настала очередь обсудить сам процесс обработки данных и улучшения кейса, чтобы данные записывались в таблицу быстрее, а также были более информативными (больше колонок).
Оптимизация скрипта
На данный момент прежний экшен был практически полностью переработан в связи с тем, что неудобно парсить только 1 город + записывать напрямую в базу данных MYSQL через :ZennoPoster: также занимает определенное время. Сейчас можно очень быстро спарсить все города России..., но по одному, конечно, городу за 1 раз. В дальнейшем просто можно объединять ячейки таблицы, чтобы ускорить процесс.
Итак, что было сделано:
- Для начала было бы удобнее выбирать город уже из готового списка, нежели выбирать его номер из текста в папке или вручную вписывать в поле ввода(см. скриншот выше).
- Также было удобнее взять несколько API ключей, в случае если один из них будет неактуален или закончатся запросы за день (автоматический процесс).
- Кроме этого, можно установить вручную количество запросов парсинга Яндекс Карт (удобно, если у вас ограниченное количество API запросов).
Результат парсинга
Вывод данных осуществляется в популярный формат .CSV, а разделителями колонок являются значения ";". Текст в Юникоде (UTF-8).
Время потраченное на парсинг составляет менее минуты с помощью скрипта, что намного облегчает ручную работу по сбору данных. Особенно это актуально для Москвы и Санкт-Петербурга, где количество организации может составлять несколько сотен, а то и тысяч.
Итоги
Экшен делает за вас всю ручную работу (ну, или почти всю). Единственное действие, которое вам необходимо сделать далее, это убрать лишние данные, так как Яндекс не всегда собирает именно то, что вы имели в виду в запросе!
Заказать парсинг можно тут...
Статья была полезна?
