Иногда существует необходимость собрать какой-нибудь контент с других ресурсов интернета, но вручную это делать крайне сложно, особенно если речь идет о тысячах страниц. В таком случае приходится либо самому писать парсер под конкретный сайт, либо заказывать его у программиста, если сами с программированием не дружите. Однако сейчас существуют мощные программы, в том числе и бесплатные, способные выполнить большую часть требующихся задач по автоматизации выдергивания контента.
Самым многофункциональным и популярным является парсер Content Downloader. Возможности его перечислить не получится в одной статье – настолько их много. Программа умеет буквально все, а результат можно настраивать как угодно. К тому же она постоянно обновляется, добавляются все новые функции и макросы.
Коротко о том, что умеет Content Downloader:
1. Можно парсить контент с любых интернет магазинов, выбирая нужную информацию, просто кликая по ней мышкой. В программу встроен специальный браузер для этого. Сохранять результат можно в .txt файл, .html или CSV.
2. Имеется возможность парсинга картинок с Google, включая настройки размера, и, естественно, поиска по ключевым словам.
3. Кроме текста программа умеет сохранять картинки, находящиеся на странице, файлы .torrent или приложения Flash.
4. Парсер может сканировать сайт на ссылки по указанному фильтру, чтобы затем обрабатывать страницы только по найденным ссылкам.
5. Есть поддержка авторизации пользователей и работы через прокси.
На этом возможности программы не исчерпываются, она практически может все, подходит под любые ресурсы, так как является универсальной и обладает гибкими настройками.
Естественно, она не может быть бесплатной, но существует 3 вида лицензии: 1000, 1500 и 2000 рублей, в зависимости от того, что вам нужно.
Следующим идет неплохой парсер контента Ночной Дозор (его еще называют иногда Ночной Бдун).
Все возможности программы доступны только в платной версии, но и бесплатную можно использовать в некоторых случаях, вот ее возможности:
1. Имеется возможность добавить необходимые сайты и категории на них, из которых будет выдираться контент. Для экономии трафика и времени, предусмотрена возможность загрузки облегченных версий страниц ”для печати”, если таковые имеются.
2. Полная настройка сбора контента, который вам нужен. Можно, например, картинки загрузить в последнюю очередь, уже когда страницы были сохранены.
3. Вывод и сохранение результата тоже полностью настраиваемо. Можно даже в результате получить уже готовые страницы с каталогами и материалами.
Наконец, существует полностью бесплатный парсер, под названием UniParse. Большим количеством возможностей похвастаться не может, но для бесплатного приложения он очень даже ничего. Здесь тоже имеется настройка фильтров ссылок, с которых будет закачиваться контент. Результаты можно сохранять в один текстовый файл или много, предусмотрена возможность удаления файлов маленького размера.
Программа отлично подойдет вам, если необходимо выдергивать новости или статьи с разнообразных сайтов. Для более сложных задач лучше использовать парсеры, о которых говорилось выше.
