Парсинг Яндекс Карт через ZennoPoster – кейс №1

794

Сегодня мы рассмотрим с вами парсинг Яндекс Карт через популярную программу по автоматизации действий в браузере ZennoPoster. С помощью этого софта действительно можно делать практически все, что угодно. Наш кейс №1 посвящен уникальному и, главное, очень быстрому сбору организаций и их данных с Яндекс Карт, а также предназначен прежде всего для общей информации. Заказать его можно через форму обратной связи – пишите регион парсинга и ключевое слово для сбора информации. Например, Москва – SEO.
Парсинг Яндекс Карт через ZennoPoster

Поехали…

Кейс №1

1. Клиент хочет получить выгрузку в формате .CSV или .SQL и целый набор полей в таблице: Название, Адрес, Ссылка, Телефон, Время, Фото, Соцсети, Метро, Отзывы, Описание, Гео, Работа, Запчасти, Страховка, Инфо, Бренды, Продажа.
2. Мы хотим уменьшить время парсинга и сбора информации, автоматизировать на сколько это возможно сам процесс.

Что мы сделали?

yandex-map

Во-первых, “прикрутили” API Яндекс Карт к сбору организаций, что позволило нам получить их сразу до 5000!!! Конечно, их было намного меньше, но факт того что можно разом получить информацию о таком количестве фирм любого региона очень вдохновлял на дальнейшие действия…
yandex-map-api
Во входных настройках ZennoPoster мы указали все необходимые данные для начала работы:

  • Город – в каком регионе парсим организации,
  • Ключ – ключевой запрос (обязательно с регионом),
  • API_json_count – количество выводимых полей (до 5000!!!),
  • Строка – начало сбора с этого количества строк (так как бывают случаи, когда нужно продолжить сбор не с начала),
  • API_key – ключ для API Яндекс Карт.

Кроме этого, мы реализовали запись данных напрямую в таблицу и формат MYSQL, что позволило нам не отвлекаться на ошибки и несоответствия формата .CSV при импорте и его экспорте, а также показать через сайт готовый результат, не выдавая клиенту его в конечном варианте (чтобы оставался вариант оплаты денежки нам)…

Результаты работы

example
Для того чтобы взять правильно все поля, пришлось долго и усердно стараться, так как Яндекс любит AJAX и не любит тех, кто парсит текст… Тем не менее, нам удалось сделать это. Особенную гордость составляют отзывы и галереи изображений, которые включены в таблицу.
example2

Итоги

Ручной сбор информации, как мы уже поняли, с Яндекс Карт не эффективен, так как данные постоянно меняются и количество фирм тоже. Поэтому наш пример через API Яндекс Карт наглядно показывает, что не нужно изобретать велосипед, чтобы поехать…

Также теперь через данный скрипт ZennoPoster можно спокойно собирать другие данные, для этого нужно лишь указать ключевое слово и… немного поработать над выгрузкой, так как не все поля (например, отзывы, фото и т.п.) собираются сразу одним запросом через API!

Если вы НЕ хотите тратить время на ручной сбор такой информации, то делайте запрос через форму обратной связи. Обязательно указывайте сроки, нужные поля и, конечно, бюджет!

2 часть скрипта, более усовершенствованная.

Парсинг Яндекс Карт