Продолжаем тему парсинга и выкладываем кейс №2 под названием "Парсинг организаций для внедрения на сайт". В этом материале мы расскажем как можно заказать парсинг и создать автоматический скрипт через программу :ZennoPoster:, а также сделать его максимально удобным для клиента и, естественно, нас самих...
Итак, клиенту необходим сбор информации и взять организации (их контактные данные) такие как: наименование, адрес, телефоны, ссылка на сайт и т.п. Также через определенное время потребовалось немного изменить скрипт и добавить к нему проверку на наличие дубликатов, т.е. чтобы на сайт клиента записывалась только одна конкретная фирма, а не многочисленные филиалы или дубли.
Тех.задание
Т.е. ТЗ (техническое задание) заключалось в следующем:
- Спарсить все конторы по определенному ключевому слову, например, "автомойки" на определенном ресурсе и задать их на сайте клиента в заранее выбранную категорию.
- При выборе другого ключевого слова и категории нужно было продолжить парсинг организаций и проверить их на существование в общей базе (если есть фирма в базе, то не записывать ее на сайте клиента, и наоборот).
Результаты
Мы сразу продумали структуру скрипта, чтобы не было вопросов относительно категорий, поэтому решили прописать их в самом экшене - самая первая (как принято в программировании) начинается с 0, далее увеличиваясь на единицу. Тоже самое касается и подкатегорий. При внедрении каталога организаций на сайте клиента мы столкнулись с проблемой занесения этих категорий, так как они правильно вносились только при выключенной опции ZennoPoster "CSS вкл".
Мы учли все пожелания заказчика на этапе планирования скрипта, поэтому справились с задачей легко.
Итоги
Получился хороший автоматический скрипт по сбору информации для определенного проекта, а также еще пара наработок для ZennoPoster. Ну, и конечно, мы получили отличные отзывы...
Статья была полезна?