Для чего нужен плагин/парсер?
С помощью данного плагина возможно легко настроить самообновляющийся блог (новостной портал) на базе движка блога wordpress. Доступен ряд SEO функций при обработке импортируемого контента а также синонимизация контента.
Системные требования
1. PHP 5.2.2 и выше (библиотеки gd, mb, xml, curl, iconv)
2. MySQL 4.1 и выше
3. Apache
4. открытые исходящие соединения
Преимущества и возможности плагина (без особенностей последней версии)
• Фильтр запрещенных слов при наличии которых публикация не будет опубликована
• Нормальная работа с русским контентом и транскодирование в кодировку блога
• открытый исходный код
• устанавливается индивидуальный интервал обновления для каждой импортируемой ленты
• возможность выбрать в какую рубрику импортировать контент из заданной ленты
• парсинг html (по тэгам, настраивается парсинг html)
• сортировка по рубрикам в зависимости от наличия ключевых слов
• запуск по крону
• блок замены слов/словосочетаний на другие слова, ссылки и т.п.
• фильтр тегов
• «выкусывание» ссылок или установка внешних ссылок через редирект
• Скрипт загружает картинки на сервер или оставляет хотлинк а также называет картинки ключевыми словами из публикации (по названию публикации)
• формирует keywords и description для публикации в Custom Fields
• формирует название SEO friendly url публикации
• активация/деактивация обновления каждой ленты в интерфейсе управления без ее удаления
• устанавливает копирайт внизу публикации
• работает как с rss так и с atom лентами
• фильтр минимальной длинны публикации в символах (меньше указанного значения публикация не публикуется).
• опция выравнивания и обтекания картинок в публикации
• активация/деактивация комментариев для импортируемых публикаций
• активация/деактивация ping для импортируемых публикаций
• «подсветка» ключевиков жирным
• Ресайз картинок до установленного в админке значения
• управление установкой тэга <!--more-->
• Опция в админке, парсить только саму ленту а не контент хтмл
• шаблонизатор для копирайта, позволяющий вставлять УРЛ на публикацию откуда грабили и тп
• смещение времени в парсере
• рандом для вставки новостей с ограничителем до определенного количества
• рандом вставки картинок с ограничителем количества
• исправлен Глюк - при парсинге by keywords посты попадали в категорию “Без категории”
• удалили задержки в парсере, теперь парсит немного быстрее
• исправили ошибку “WordPress database error: ….”
• исправлен глюк с кодировками в php5
• изменили алгоритм формирования названий картинок, “_” между словами в названии картинки
• заменили на “-”, теперь названия картинок в нижнем регистре, исправлен глюк с “съеданием первого
• символа в названии картинки”.
• самое главное - сделали синонимизатор контента с возможностью установки процента синонимизации.
• Также у меня есть база для синонимизации, но так как я ее купил у
• “добрых” людей, могу предложить ее только за скромное вознаграждение в 20$ чтобы таким образом
• вернуть потраченные на нее средства.
• Характеристики базы: объем дампа 3.1Mb количество слов 107К.
В версии 1.4 добавлено
• улучшена производительность
• плагин работает с версией wordpress 2.3.1 и выше
• реализован автоматическое добавление тэгов из заголовка для каждой
• публикации
• фильтр обязательных слов с возможностью отключения фильтра в каждой
• из лент
• импорт баз синонимов из txt (разделитель между синонимами – пробел каждая группа синонимов в отдельной строке) или gz архивов с txt файлом. При перезаливке синонимов база синонимов очищается.
• исправлен ряд ошибок в дизайне и эргономике
• добавлен чекбокс для выделения один кликом всех публикаций в
• секции Delete posts
• добавлен в меню Options параметр Min Post Tags length который блокирует добавление в тэги слов, с малым количеством букв
• переработан ограничитель добавления публикаций. Это параметр Max post on day: в настройках ленты. Если активировать этот параметр установив например значение 3 - то парсер будет случайным образом при каждом запуске выбирать из ленты 3 публикации и добавлять их в блог. Парсер добавит только три публикации в день и не более с этой ленты.
В версии 1.3 добавлено
• Важно! сделали парсер статических страниц! теперь можно грабить контент практически с любого сайта без наличия rss/atom экспорта!
• работа через прокси: формат прокси 127.0.0.1
ort
• установка user agent для каждой ленты
• автоматический импорт слов из названий категорий блога в сортировщик по ключевым словам
• запрет/активация хотлинкования картинок с с сайта источника (по умолчанию, если папка для сохранения картинок доступна, то картинки загружаются на хост, если по какойто причине скрипт неможет загрузить картинку, он ее хотлинкует если хотлинк включен, и если хотлинк отключен, то картинки их контента просто удалятся).
• спецсимволы такие как ’ интерпретировались предыдущей версией плагина как “?”, исправлено их корректное отображение.
• исправлен фильтр подстановки ссылок для определенных ключевых слов, если к примеру для подстановки было слово “soft” то парсер подставлял ссылку также и для части слова “software”, теперь поставляются ссылки только для отдельных слов.
• небольшие улучшения эргономики интерфейса.
• исправлена проблема статуса публикаций, (на не влияла на работу), парсер устанавливал неправильный статус публикации «не опубликовано», сейчас он устанавливает этот атрибут правильно.
• реализован алгоритм блокирования публикаций. Для блокировки необходимо средствами wordpress удалить ненужные публикации, и они появятся в разделе “delete” парсера и будут там до тех пор пока их оттуда не удалите. Если их удалить из раздела “delete” они будут распарсены повторно.
• переписана функция загрузки картинок на сервер (раньше была file_get_content теперь работает на curl).
Установка и настройка плагина
Загрузите фалы плагина: wp-feedmaster.php и wp-go.php в корневую директорию блога, а папку feedmaster в директорию wp-content/plugins
Внимание! Проверьте права на запись в папку wp-content/uploads/ иначе картинки не буду закачиваться на хост!
Активируйте плагин из админки блога.
Админка скрипта находится в меню Options/Feedmaster
Главное меню Control Panel
«Add Feed» – добавить ленту
«Disable» – деактивировать ленту
«Edit» – редактировать настройки ленты
«Delete» – удалить ленту
«Test» - тестировать ленту
«Debug» - лог работы парсера