Как-то раз поступила заявка на скачивание музыкальных произведений с сайта bananastreet.ru (в основном здесь представлены миксы, ремиксы, ремейки и т.п.). Мне казалось это задание достаточно легким в исполнении, но на деле получилось совсем не так. Что заставило меня написать пост именно про этот сайт и его парсинг данных через :ZennoPoster: - читайте дальше...
Красиво оформленный проект без возможности скачивать напрямую музыкальные композиции, НО! когда это кого-нибудь останавливало...
Итак, в чем состоит сложность сбора данных с таких сайтов?
Ajax или Flash плеер
Самым популярным ответом на этот вопрос станет наличие на сайтах пресловутого Ajax или Flash плеера. Если с первым все более-менее понятно: нужно просто парсить через внутренний браузер, то со вторым компонентом дело обстоит посложнее. Нужно или декомпилировать сам ролик, или собирать код из различных кусочков (что я и делал на примере сайта bananastreet.ru).
bananastreet или скачивание музыки бесплатно!
Если вы читаете этот пост, то уже наверняка поняли, что получение данных нам нужно абсолютно бесплатно, а не за месячную подписку кому-то там. Поэтому мы берем определенные данные из кода (какие именно не скажу, чтобы не было халявщиков еще больше :)), далее собираем их вместе (сам трек) и преобразовываем их в единое целое - mp3 файл.
Если коротко, то "геморой" прежде всего заключается именно в том, чтобы понять какой номер брать для парсинга трека (эту уловку программеров до сих пор нужно решить как обойти), но сам процесс таков:
- берется url со списком песен,
- потом они по одной добавляются в нужную папку на жестком диске,
- а уже следом получаем готовые треки и их список в текстовом файле (чтобы не забыть что именно парсили).
Обновление скрипта и улучшение показателей
Скрипт чуть позже было решено переработать заново - теперь он действует совсем по-другому принципу:
- из карты сайта отбираем нужные URL и вставляем номер списка в экшен,
- далее парсинг осуществляется без браузера, что увеличивает производительность и уменьшение нагрузки,
- все файлы mp3 берутся в оригинале, поэтому нет вероятности не загрузить какой-то трек,
- парсинг можно сделать хоть по всем 32602!!! альбомам, которые представлены в текстовом файле и доступны каждому (кто, конечно, хочет приобрести за деньги скачивание музыки).
Внимание для тех, кто хочет приобрести сам скрипт парсинга!
САМ скрипт НЕ продается!
Итоги бананастрит
Практически любой проект можно спарсить при помощи :ZennoPoster:, если знать как. А если не знать, то нужно просто подумать и исполнить!
https://www.youtube.com/embed/ydYNYB6vwDc
[maxbutton id="1" text="Заказать скрипт" url="/contact" linktitle="External link | Внешняя ссылка" window="new" nofollow="true"]
Статья была полезна?
