Парсинг организаций для внедрения на сайт – кейс №2

541

Продолжаем тему парсинга и выкладываем кейс №2 под названием “Парсинг организаций для внедрения на сайт”. В этом материале мы расскажем как можно заказать парсинг и создать автоматический скрипт через программу ZennoPoster, а также сделать его максимально удобным для клиента и, естественно, нас самих…
Парсинг организаций

Итак, клиенту необходим сбор информации и взять организации (их контактные данные) такие как: наименование, адрес, телефоны, ссылка на сайт и т.п. Также через определенное время потребовалось немного изменить скрипт и добавить к нему проверку на наличие дубликатов, т.е. чтобы на сайт клиента записывалась только одна конкретная фирма, а не многочисленные филиалы или дубли.
01_01

Тех.задание

Т.е. ТЗ (техническое задание) заключалось в следующем:

  • Спарсить все конторы по определенному ключевому слову, например, “автомойки” на определенном ресурсе и задать их на сайте клиента в заранее выбранную категорию.
  • При выборе другого ключевого слова и категории нужно было продолжить парсинг организаций и проверить их на существование в общей базе (если есть фирма в базе, то не записывать ее на сайте клиента, и наоборот).

01

Результаты

Мы сразу продумали структуру скрипта, чтобы не было вопросов относительно категорий, поэтому решили прописать их в самом экшене – самая первая (как принято в программировании) начинается с 0, далее увеличиваясь на единицу. Тоже самое касается и подкатегорий. При внедрении каталога организаций на сайте клиента мы столкнулись с проблемой занесения этих категорий, так как они правильно вносились только при выключенной опции ZennoPoster “CSS вкл”.
Мы учли все пожелания заказчика на этапе планирования скрипта, поэтому справились с задачей легко.

Итоги

Получился хороший автоматический скрипт по сбору информации для определенного проекта, а также еще пара наработок для ZennoPoster. Ну, и конечно, мы получили отличные отзывы…

end

Парсинг организаций