Пользователь
Регистрация: 05.11.2008
Сообщений: 50
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
|
Альтернативный DLE Граббер
Добрый день. Предлагаю вашему вниманию [url="http://anour.ru/upload/grabber.png"] DLE Grabber[/url] написанный на PHP.
Сразу скажу, что за его основу был взят другой популярный граббер, однако до 80% его кода было переписано, так что
данный скрипт является уникальным и до этого дня не распространяемым.
DLE порталы очень популярны в рунете, отсюда и актуальность данной темы.
Особенности скрипта:- Скрипт полностью автономен и самодостаточен.
Он легко устанавливается, имеет простой и интуитивный интерфейс.
При покупке скрипта вы получаете, также, техническую поддержку!
- Скрипт не привязан к конкретному движку.
Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент
можно использовать на любой CMS (подробнее о механизме ниже).
- Два режима работы.
>>Классический режим:
В этом режиме дистрибутив граббера копируется в директорию вашей CMS.
Все что нужно - это указать в конфиге драйвер обработки полученного контента от вашей CMS.
При этом полученные новости, после их подтверждения, автоматически размещаются у вас на сайте.
>>Пакетный режим:
Суть режима заключается в разделении процесса получения новостей от их добавления.
При этом грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет denwer),
скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые впоследствии копируются
в директорию вашего сайта, где обрабатываются пакетным драйвером вашей CMS.
Преимущества данного режима:
- Возможность грабить большое количество статей одновременно, если это не позволяет делать ваш хостинг;
- Если вы грабите долгое время с одного сайта, рано или поздно, ваш IP на этом сайте может быть просто забанен,
а если грабить с локального сервера - тут вам на помощь прокси и/или динамический IP.
- Универсальность.
На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени), однако,
почему-то авторы других грабберов об этом предпочитают не задумываться. Данный же скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой.
Данная опция также может быть полезна, если на вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта.
(на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden).
- Оптимизация.
Работа с граббером максимально нацелена на оптимизацию. Тут вам на помощь конфиги, расположенные в отдельной директории, где вы можете указать реквизиты пользователя (для граббинга с автозированной сессией) по умолчанию, перечень ваших категорий, куда вы добавляете новости и ряд других опций. По желанию, мы можем оптимизировать скрипт персонально для вас.
- Надеждый механизм работы.
Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей.
Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы
после любого сбоя не представляет проблем, достаточно заного указать начальную и конечную страницы,
а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить.
- Расширяемость.
С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и
расположены в отдельных библиотеках, что позволит оптимизировать или расширить
функционал граббера даже начинающему программисту. В граббер, также, встроен простой, но удобный механизм подключения
собственных модулей по обработке контента. В дистрибутив граббера включен модуль по загрузке
картинок в указанную директорию (на ваш сервер) и, соответственно, изменение путей для этих картинок в самих новостях.
- Стоимость.
Стоимость данного скрипта - 25 WMZ. Форма оплаты - WebMoney.
При покупке вы получаете:
- Полный дистрибутив скрипта, с оригинальным кодом и документацией;
- Отсутствие ограничений по времени использования;
- Отсутствие привязок (к домену/IP/....);
- Бесплатную техническую поддержку по почте и ICQ в течении месяца;
- Бесплатную услугу по написанию драйвера под вашу CMS в кратчайшие сроки;
- Итого
По любым вопросам можете обращаться по ICQ: 494-897-304.
Если вас заинтересовал граббер, я могу вам предоставить ссылку на демонстрационную онлайн версию,
где вы можете протестировать его на сайтах, которые вам интересны. Пишите!
P.S. Изначально, данный скрипт писался для личных целей и ранее не распространялся. Большая просьба к покупателям - не спешите выкладывать его в паблик. Я сознательно отказался от кодирования и обсуфикации кода, а также привязки к домену / IP для удобства тех, кто им пользуется.
Как я уже писал выше, для использования полученного контента на какой-либо CMS (сайте, движке), необходим персональный драйвер.
Драйвера для пакетного и классического режимов различаются.
На данный момент драйвера написаны только для форума Invision Power Board v 2.3.x.
В дистрибутив, также, включен демонстрационный драйвер (классический), который просто показывает сграбленные новости (он же используется в демонстрационной он-лайн версии).
И еще раз повторюсь - каждому покупателю, в случае необходимости, будет написан драйвер для его CMS.
__________________
Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий).
|