Поисковые системы - Страница 5 - Страница 5 Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете.

A-Parser Support · 05.04.2018, 11:29

Видео урок: Создание JS парсеров. Работа с CAPTCHA

Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.

В уроке рассмотрено:

Создание JS-парсера для разгадывания капчи
Работа с объектом this.captcha внутри JavaScript кода
Описание процесса разгадывания каптчи, реализованного в A-Parser

Статья и готовый парсер: https://a-parser.com/resources/257/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser Support · 16.04.2018, 13:04

22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

Получение страниц сайта и проверка индексации в Google и Яндекс[url=https://a-parser.com/resources/250/]

Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.

Парсим title и description для TOP10 поисковой выдачи по ключевому слову[url=https://a-parser.com/resources/263/]

Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.

Поиск сабдоменов сайта[url=https://a-parser.com/resources/235/]

Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется HTML::LinkExtractor и Parse to level для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.

Кроме этого:

Работа с SQLite из JavaScript парсеров[url=https://a-parser.com/resources/272/] - показаны все базовые возможности нового функционала по работе с SQLite

Еще больше различных рецептов в нашем Каталоге[url=https://a-parser.com/resources/]!
Предлагайте ваши идеи для новых парсеров здесь[url=https://a-parser.com/threads/3464/], лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube[url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter[url=https://twitter.com/a_parser].

Предыдущие сборники рецептов:

Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК
Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов
Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress
Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов
Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb

A-Parser Support · 26.04.2018, 12:13

Сборник статей #3: пагинация, переменные и БД SQLite(https://a-parser.com/threads/4442/)

В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

Обзор вариантов прохода по пагинации(https://a-parser.com/resources/277/)
В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.

Переменные в парсерах JavaScript(https://a-parser.com/resources/278/)
JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше.

Разработка JS парсера с сохранением результата в SQLite(https://a-parser.com/resources/276/)
Начиная с версии 1.2.152 в A-Parser появилась возможность работать с БД SQLite.
В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки

) - отписывайтесь здесь(https://a-parser.com/threads/3464/).

Подписывайтесь на наш канал на Youtube(https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(https://twitter.com/a_parser).

Предыдущие сборники статей

Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы
Сборник статей #2: цикл статей-уроков по созданию JS парсеров

A-Parser Support · 07.05.2018, 13:24

1.2.185 - увеличение скорости в SE::Google::Modern, новые возможности Net:: DNS, множество улучшений [url=https://a-parser.com/threads/4471/]

Улучшения

[*] SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] - многократно увеличена скорость парсинга
[*]Множество улучшений в Net:: DNS [url=https://a-parser.com/wiki/net-dns/]:
- Возможность указать несколько DNS и задать метод выбора
- Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
- Возможность вывести в результат использованный DNS сервер при удачном запросе
[*]В SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] добавлена опция Use sessions
[*]В SE::Yandex::WordStat [url=https://a-parser.com/wiki/se-yandex-wordstat/] добавлена настройка пресета антигейта для логина
[*]Также в SE::Yandex::WordStat [url=https://a-parser.com/wiki/se-yandex-wordstat/] удалены настройки Use logins/Use sessions, теперь они включены всегда
[*]Добавлена возможность автоматического удаления задания из Завершенных
[*]В макросе подстановок {num} добавлена поддержка обратного отсчета
[*]В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
[*]В JavaScript парсерах добавлена возможность прямого сохранения в файл
[*]В API методе oneRequest/bulkRequest добавлена возможность указать configPreset
[*]В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog

Исправления в связи с изменениями в выдаче

[*]Исправлен парсинг сниппетов в SE::Yandex [url=https://a-parser.com/wiki/se-yandex/]
[*]В SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] исправлена пагинация в мобильной версии, а также парсинг сниппетов и рекламы в некоторых случаях
[*]Исправлен парсинг цен в GooglePlay::Apps [url=https://a-parser.com/wiki/googleplay-apps/]
[*]Исправлена работа функции Remove bad accounts в парсерах Wordstat
[*]Rank::MegaIndex [url=https://a-parser.com/wiki/rank-megaindex/], Rank:: openSiteExplorer [url=https://a-parser.com/wiki/rank-opensiteexplorer/], Rank:: openSiteExplorer::Extended [url=https://a-parser.com/wiki/rank-opensiteexplorer-extended/], SE:: DuckDuckGo [url=https://a-parser.com/wiki/se-duckduckgo/], SE::IxQuick [url=https://a-parser.com/wiki/se-ixquick/]

Исправления

[*]Количество неудачных больше не обнуляется при постановке на паузу
[*]Исправлена проблема с подключением Node.js модулей на Linux
[*]Исправлено падение парсера в редких ситуациях при использовании JS парсеров
[*]Решена проблема с подключением Node.js модулей lodash, sequelize
[*]Исправлена ошибка итератора при равных границах в макросе {num}

A-Parser Support · 17.05.2018, 11:12

Видео урок: Создание JS парсеров. Работа с ReCaptcha2(https://a-parser.com/threads/4493/)

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.

В уроке рассмотрено:

Описание и настройка парсера Util::ReCaptcha2
Описание принципа работы ReCaptcha2
Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:

Тестирование работы ReCaptcha2: http://http.myjino.ru/recaptcha/test-get.php[/url]
Статья и готовый парсер:https://a-parser.com/resources/259/[/url]

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!(https://www.youtube.com/c/AParser_channel)

A-Parser Support · 28.05.2018, 13:14

Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат [url=https://a-parser.com/threads/4517/]

23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

Получение категорий сайтов из Google [url=https://a-parser.com/resources/285/]

Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.

Выгрузка товаров в формате YML[url=https://a-parser.com/resources/284/]

YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше.

Парсим Google новости с датой и преобразуем ее[url=https://a-parser.com/resources/281/]

В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше.

Кроме этого:

Сохранение произвольных данных в сессиях - новый функционал по работе с сессиями [url=https://a-parser.com/resources/280/]
Сохранение больших файлов напрямую на диск - возможность сохранять файлы в JS парсерах напрямую, минуя шаблонизатор [url=https://a-parser.com/resources/279/]

Еще больше различных рецептов в нашем Каталоге! [url=https://a-parser.com/resources/]

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. [url=https://a-parser.com/threads/3464/]

Подписывайтесь на Наш канал на Youtube [url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter [url=https://twitter.com/a_parser].

Предыдущие сборники рецептов:

Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте [url=http://a-parser.com/threads/1250/]
Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов [url=http://a-parser.com/threads/1328/]
Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов [url=http://a-parser.com/threads/1660/]
Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы [url=http://a-parser.com/threads/1674/]
Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта [url=http://a-parser.com/threads/1705/]
Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво [url=http://a-parser.com/threads/1737/]
Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам [url=http://a-parser.com/threads/1778/]
Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube [url=http://a-parser.com/threads/1809/]
Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность [url=http://a-parser.com/threads/1830/]
Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий [url=http://a-parser.com/threads/1881/]
Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции! [url=http://a-parser.com/threads/1938/]
Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок [url=http://a-parser.com/threads/2240/]
Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query [url=http://a-parser.com/threads/2460/]
Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты [url=http://a-parser.com/threads/2613/]
Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu [url=http://a-parser.com/threads/2712/]
Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей [url=https://a-parser.com/threads/2808/]
Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК [url=https://a-parser.com/threads/3544/]
Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов [url=https://a-parser.com/threads/3862/]
Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress [url=https://a-parser.com/threads/3910/]
Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов [url=https://a-parser.com/threads/4074/]
Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb [url=https://a-parser.com/threads/4318/]
Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов [url=https://a-parser.com/threads/4405/]

A-Parser Support · 11.06.2018, 11:33

1.2.216 - улучшения в SE::Google::Modern и JS парсерах, а также множество других[https://a-parser.com/threads/4563/]

Улучшения

Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
Добавлен повтор без смены прокси при неудачной отправке рекаптчи в SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/]
Добавлен бан прокси при получении 403 кода ответа в SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/]
Процент неудачных запросов теперь отображается относительно числа выполненных запросов
Добавлена возможность вызвать URL после выполнения задания
Улучшен обзор каталогов при выборе файлов запросов
Добавлена поддержка setInterval в JavaScript парсерах
Уменьшено Wait between get status и улучшено логгирование в Util::ReCaptcha2 [https://a-parser.com/wiki/util-recaptcha2/]
Улучшена обработка редиректов
Добавлена защита от бесконечного выполнения в JavaScript парсерах
Значительно увеличены возможности check_content в JS парсерах
В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads

Исправления в связи с изменениями в выдаче

Исправлен парсинг рекламы в мобильной версии SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/]
Исправлен парсинг количества результатов в SE::Baidu [https://a-parser.com/wiki/se-baidu/]
Rank::MajesticSEO [https://a-parser.com/wiki/rank-majesticseo/], SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/], SE::Google::Trends [https://a-parser.com/wiki/se-google-trends/]

Исправления

Исправлено ведение лога при нескольких паузах задания
Исправлена ошибка, из-за которой запрос считался неудачным при пустой выдаче в SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/]
Исправлена работа с url, содержащими фрагмент # в Net::HTTP [https://a-parser.com/wiki/net-http/]
Исправлен парсинг ссылок в HTML::LinkExtractor [https://a-parser.com/wiki/html-linkextractor/]
Исправлена работа опции Pages count в SE::Yandex [https://a-parser.com/wiki/se-yandex/]
Исправлен выбор файлов запросов на Windows 10
Исправлена ошибка, из-за которой иногда нельзя было удалить файл с запросами
Исправлено отображение проксичекера в конфиге потоков
Исправлена кодировка некоторых результатов в SE::Google::Suggest [https://a-parser.com/wiki/se-google-suggest/]
Исправлена ситуация, когда не читались настройки из config.txt

A-Parser Support · 21.06.2018, 11:29

Сборник рецептов #24: уведомление в Telegram об экспайре доменов, чекер РКН и работа с SQLite [url=https://a-parser.com/threads/4591/]

24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!

Получаем уведомления в Telegram об окончании срока регистрации доменов [url=https://a-parser.com/resources/287/]

Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.

Проверка блокировки РосКомНадзора через GitHub [url=https://a-parser.com/resources/286/]

В А-Парсере есть стандартный парсер Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализован в пресете по ссылке выше.

Простой парсер обменника с записью в БД SQLite [url=https://a-parser.com/resources/275/]

Как известно, в A-Parser есть возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше.

Еще больше различных рецептов в нашем Каталоге [url=https://a-parser.com/resources/]!

Предлагайте ваши идеи для новых парсеров здесь [url=https://a-parser.com/threads/3464/], лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube [url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter [url=https://twitter.com/a_parser].

Предыдущие сборники рецептов:

Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте [url=http://a-parser.com/threads/1250/]
Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов [url=http://a-parser.com/threads/1328/]
Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов [url=http://a-parser.com/threads/1660/]
Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы [url=http://a-parser.com/threads/1674/]
Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта [url=http://a-parser.com/threads/1705/]
Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво [url=http://a-parser.com/threads/1737/]
Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам [url=http://a-parser.com/threads/1778/]
Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube [url=http://a-parser.com/threads/1809/]
Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность [url=http://a-parser.com/threads/1830/]
Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий [url=http://a-parser.com/threads/1881/]
Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции! [url=http://a-parser.com/threads/1938/]
Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок [url=http://a-parser.com/threads/2240/]
Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query [url=http://a-parser.com/threads/2460/]
Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты [url=http://a-parser.com/threads/2613/]
Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu [url=http://a-parser.com/threads/2712/]
Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей [url=https://a-parser.com/threads/2808/]
Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК [url=https://a-parser.com/threads/3544/]
Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов [url=https://a-parser.com/threads/3862/]
Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress [url=https://a-parser.com/threads/3910/]
Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов [url=https://a-parser.com/threads/4074/]
Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb [url=https://a-parser.com/threads/4318/]
Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов [url=https://a-parser.com/threads/4405/]
Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат [url=https://a-parser.com/threads/4517/]

A-Parser Support · 02.07.2018, 12:12

1.2.246 - обновление базы Rank::CMS и новые функции в парсерах Baidu и MajesticSEO[url=https://a-parser.com/threads/4614/]

Улучшения

В Rank::CMS[url=https://a-parser.com/wiki/rank-cms/] обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
SE::Baidu[url=https://a-parser.com/wiki/se-baidu/] полностью переписан:
- добавлен парсинг related keywords
- убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
- добавлена опция Get full link, преобразующая обрезанные ссылки в полные
- исправлены некоторые регулярные выражения и баг с двойным http в ссылках
Изменения в Rank::MajesticSEO[url=https://a-parser.com/wiki/rank-majesticseo/]:
- Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
- Убран параметр Extract domain
- Исправлена работа в некоторых случаях
Улучшена отзывчивость в редакторе JavaScript парсеров
Улучшена работа HTML::EmailExtractor[url=https://a-parser.com/wiki/html-emailextractor/], устранены зависания, которые возникали на определенных страницах
Обновлен список регионов в парсерах Яндекс
Пустой результат в SE::Google::Trends[url=https://a-parser.com/wiki/se-google-trends/] больше не считается неудачным запросом
Улучшена работа с сессиями в SE::Yandex::WordStat[url=https://a-parser.com/wiki/se-yandex-wordstat/]

Исправления в связи с изменениями в выдаче

Исправлен парсинг рекламы в SE::Yandex[url=https://a-parser.com/wiki/se-yandex/]
Исправлена работа, а также улучшен алгоритм парсинга в SE:: DuckDuckGo[url=https://a-parser.com/wiki/se-duckduckgo/]
Исправлено указание региона в парсерах Яндекс
Исправлен парсинг $ads.$i.visiblelink в SE::Google::Modern[url=https://a-parser.com/wiki/se-google-modern/]
Исправлен парсинг $totalcount в SE::Yandex:: Direct[url=https://a-parser.com/wiki/se-yandex-direct/]

Исправления

Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100
Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок
Исправлено отображение кириллицы в $headers в Net::HTTP[url=https://a-parser.com/wiki/net-http/]
Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать
Устранена проблема с кодировкой при работе с SQLite
Исправлена ошибка со сменой прокси в JavaScript парсерах

A-Parser Support · 12.07.2018, 11:39

Сборник статей #4: добавление товаров в OpenCart и парсинг JSON(https://a-parser.com/threads/4647/)

В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

Работаем с OpenCart. Часть 1. Вступление.(https://a-parser.com/resources/291/)

Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше.

Парсинг JSON ответов и работа с их содержимым(https://a-parser.com/resources/289/)

JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API различных сервисов. В А-Парсере есть встроенные инструменты для работы с ним, но не всегда их применение может быть простым, иногда требуется дополнительно писать сложные шаблоны, используя шаблонизатор. Поэтому в статье по ссылке выше будет рассказано, как написать простой универсальный парсер JSON.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки

) - отписывайтесь здесь(https://a-parser.com/threads/3464/).

Подписывайтесь на наш канал на Youtube(http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(http://www.youtube.com/c/AParser_channel).

Предыдущие сборники статей

Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы(https://a-parser.com/threads/4009/)
Сборник статей #2: цикл статей-уроков по созданию JS парсеров(https://a-parser.com/threads/4142/)
Сборник статей #3: пагинация, переменные и БД SQLite(https://a-parser.com/threads/4442/)

05.04.2018, 11:29	#1
A-Parser Support Пользователь Регистрация: 01.12.2016 Сообщений: 241 Вы сказали Спасибо: 0 Поблагодарили 1 раз в 1 сообщении Репутация: 10	Видео урок: Создание JS парсеров. Работа с CAPTCHA Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах. В уроке рассмотрено: Создание JS-парсера для разгадывания капчи Работа с объектом this.captcha внутри JavaScript кода Описание процесса разгадывания каптчи, реализованного в A-Parser Статья и готовый парсер: https://a-parser.com/resources/257/ Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

16.04.2018, 13:04	#2
A-Parser Support Пользователь Регистрация: 01.12.2016 Сообщений: 241 Вы сказали Спасибо: 0 Поблагодарили 1 раз в 1 сообщении Репутация: 10	Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг 22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали! Получение страниц сайта и проверка индексации в Google и Яндекс[url=https://a-parser.com/resources/250/] Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше. Парсим title и description для TOP10 поисковой выдачи по ключевому слову[url=https://a-parser.com/resources/263/] Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше. Поиск сабдоменов сайта[url=https://a-parser.com/resources/235/] Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется HTML::LinkExtractor и Parse to level для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше. Кроме этого: Работа с SQLite из JavaScript парсеров[url=https://a-parser.com/resources/272/] - показаны все базовые возможности нового функционала по работе с SQLite Еще больше различных рецептов в нашем Каталоге[url=https://a-parser.com/resources/]! Предлагайте ваши идеи для новых парсеров здесь[url=https://a-parser.com/threads/3464/], лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube[url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter[url=https://twitter.com/a_parser]. Предыдущие сборники рецептов: Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции! Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb

26.04.2018, 12:13	#3
A-Parser Support Пользователь Регистрация: 01.12.2016 Сообщений: 241 Вы сказали Спасибо: 0 Поблагодарили 1 раз в 1 сообщении Репутация: 10	Сборник статей #3: пагинация, переменные и БД SQLite(https://a-parser.com/threads/4442/) В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали! Обзор вариантов прохода по пагинации(https://a-parser.com/resources/277/) В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше. Переменные в парсерах JavaScript(https://a-parser.com/resources/278/) JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше. Разработка JS парсера с сохранением результата в SQLite(https://a-parser.com/resources/276/) Начиная с версии 1.2.152 в A-Parser появилась возможность работать с БД SQLite. В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше. Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь(https://a-parser.com/threads/3464/). Подписывайтесь на наш канал на Youtube(https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(https://twitter.com/a_parser). Предыдущие сборники статей Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы Сборник статей #2: цикл статей-уроков по созданию JS парсеров

07.05.2018, 13:24	#4
A-Parser Support Пользователь Регистрация: 01.12.2016 Сообщений: 241 Вы сказали Спасибо: 0 Поблагодарили 1 раз в 1 сообщении Репутация: 10	1.2.185 - увеличение скорости в SE::Google::Modern, новые возможности Net:: DNS, множество улучшений [url=https://a-parser.com/threads/4471/] Улучшения [] SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] - многократно увеличена скорость парсинга []Множество улучшений в Net:: DNS [url=https://a-parser.com/wiki/net-dns/]: - Возможность указать несколько DNS и задать метод выбора - Бан нерабочих/плохих DNS по специальному эвристическому алгоритму - Возможность вывести в результат использованный DNS сервер при удачном запросе []В SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] добавлена опция Use sessions []В SE::Yandex::WordStat [url=https://a-parser.com/wiki/se-yandex-wordstat/] добавлена настройка пресета антигейта для логина []Также в SE::Yandex::WordStat [url=https://a-parser.com/wiki/se-yandex-wordstat/] удалены настройки Use logins/Use sessions, теперь они включены всегда []Добавлена возможность автоматического удаления задания из Завершенных []В макросе подстановок {num} добавлена поддержка обратного отсчета []В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии []В JavaScript парсерах добавлена возможность прямого сохранения в файл []В API методе oneRequest/bulkRequest добавлена возможность указать configPreset []В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog Исправления в связи с изменениями в выдаче* []Исправлен парсинг сниппетов в SE::Yandex [url=https://a-parser.com/wiki/se-yandex/] []В SE::Google::Modern [url=https://a-parser.com/wiki/se-google-modern/] исправлена пагинация в мобильной версии, а также парсинг сниппетов и рекламы в некоторых случаях []Исправлен парсинг цен в GooglePlay::Apps [url=https://a-parser.com/wiki/googleplay-apps/] []Исправлена работа функции Remove bad accounts в парсерах Wordstat []Rank::MegaIndex [url=https://a-parser.com/wiki/rank-megaindex/], Rank:: openSiteExplorer [url=https://a-parser.com/wiki/rank-opensiteexplorer/], Rank:: openSiteExplorer::Extended [url=https://a-parser.com/wiki/rank-opensiteexplorer-extended/], SE:: DuckDuckGo [url=https://a-parser.com/wiki/se-duckduckgo/], SE::IxQuick [url=https://a-parser.com/wiki/se-ixquick/] Исправления* []Количество неудачных больше не обнуляется при постановке на паузу []Исправлена проблема с подключением Node.js модулей на Linux []Исправлено падение парсера в редких ситуациях при использовании JS парсеров []Решена проблема с подключением Node.js модулей lodash, sequelize [*]Исправлена ошибка итератора при равных границах в макросе {num}

17.05.2018, 11:12	#5
A-Parser Support Пользователь Регистрация: 01.12.2016 Сообщений: 241 Вы сказали Спасибо: 0 Поблагодарили 1 раз в 1 сообщении Репутация: 10	Видео урок: Создание JS парсеров. Работа с ReCaptcha2(https://a-parser.com/threads/4493/) Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере. В уроке рассмотрено: Описание и настройка парсера Util::ReCaptcha2 Описание принципа работы ReCaptcha2 Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч Ссылки: Тестирование работы ReCaptcha2: http://http.myjino.ru/recaptcha/test-get.php[/url] Статья и готовый парсер:https://a-parser.com/resources/259/[/url] Оставляйте комментарии и подписывайтесь на наш канал на YouTube!(https://www.youtube.com/c/AParser_channel)

28.05.2018, 13:14	#6
A-Parser Support Пользователь Регистрация: 01.12.2016 Сообщений: 241 Вы сказали Спасибо: 0 Поблагодарили 1 раз в 1 сообщении Репутация: 10	Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат [url=https://a-parser.com/threads/4517/] 23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали! Получение категорий сайтов из Google [url=https://a-parser.com/resources/285/] Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google. Выгрузка товаров в формате YML[url=https://a-parser.com/resources/284/] YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше. Парсим Google новости с датой и преобразуем ее[url=https://a-parser.com/resources/281/] В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше. Кроме этого: Сохранение произвольных данных в сессиях - новый функционал по работе с сессиями [url=https://a-parser.com/resources/280/] Сохранение больших файлов напрямую на диск - возможность сохранять файлы в JS парсерах напрямую, минуя шаблонизатор [url=https://a-parser.com/resources/279/] Еще больше различных рецептов в нашем Каталоге! [url=https://a-parser.com/resources/] Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы. [url=https://a-parser.com/threads/3464/] Подписывайтесь на Наш канал на Youtube [url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter [url=https://twitter.com/a_parser]. Предыдущие сборники рецептов: Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте [url=http://a-parser.com/threads/1250/] Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов [url=http://a-parser.com/threads/1328/] Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов [url=http://a-parser.com/threads/1660/] Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы [url=http://a-parser.com/threads/1674/] Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта [url=http://a-parser.com/threads/1705/] Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво [url=http://a-parser.com/threads/1737/] Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам [url=http://a-parser.com/threads/1778/] Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube [url=http://a-parser.com/threads/1809/] Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность [url=http://a-parser.com/threads/1830/] Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий [url=http://a-parser.com/threads/1881/] Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции! [url=http://a-parser.com/threads/1938/] Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок [url=http://a-parser.com/threads/2240/] Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query [url=http://a-parser.com/threads/2460/] Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты [url=http://a-parser.com/threads/2613/] Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu [url=http://a-parser.com/threads/2712/] Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей [url=https://a-parser.com/threads/2808/] Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК [url=https://a-parser.com/threads/3544/] Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов [url=https://a-parser.com/threads/3862/] Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress [url=https://a-parser.com/threads/3910/] Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов [url=https://a-parser.com/threads/4074/] Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb [url=https://a-parser.com/threads/4318/] Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов [url=https://a-parser.com/threads/4405/]

11.06.2018, 11:33	#7
A-Parser Support Пользователь Регистрация: 01.12.2016 Сообщений: 241 Вы сказали Спасибо: 0 Поблагодарили 1 раз в 1 сообщении Репутация: 10	1.2.216 - улучшения в SE::Google::Modern и JS парсерах, а также множество других[https://a-parser.com/threads/4563/] Улучшения Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой Добавлен повтор без смены прокси при неудачной отправке рекаптчи в SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/] Добавлен бан прокси при получении 403 кода ответа в SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/] Процент неудачных запросов теперь отображается относительно числа выполненных запросов Добавлена возможность вызвать URL после выполнения задания Улучшен обзор каталогов при выборе файлов запросов Добавлена поддержка setInterval в JavaScript парсерах Уменьшено Wait between get status и улучшено логгирование в Util::ReCaptcha2 [https://a-parser.com/wiki/util-recaptcha2/] Улучшена обработка редиректов Добавлена защита от бесконечного выполнения в JavaScript парсерах Значительно увеличены возможности check_content в JS парсерах В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads Исправления в связи с изменениями в выдаче Исправлен парсинг рекламы в мобильной версии SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/] Исправлен парсинг количества результатов в SE::Baidu [https://a-parser.com/wiki/se-baidu/] Rank::MajesticSEO [https://a-parser.com/wiki/rank-majesticseo/], SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/], SE::Google::Trends [https://a-parser.com/wiki/se-google-trends/] Исправления Исправлено ведение лога при нескольких паузах задания Исправлена ошибка, из-за которой запрос считался неудачным при пустой выдаче в SE::Google::Modern [https://a-parser.com/wiki/se-google-modern/] Исправлена работа с url, содержащими фрагмент # в Net::HTTP [https://a-parser.com/wiki/net-http/] Исправлен парсинг ссылок в HTML::LinkExtractor [https://a-parser.com/wiki/html-linkextractor/] Исправлена работа опции Pages count в SE::Yandex [https://a-parser.com/wiki/se-yandex/] Исправлен выбор файлов запросов на Windows 10 Исправлена ошибка, из-за которой иногда нельзя было удалить файл с запросами Исправлено отображение проксичекера в конфиге потоков Исправлена кодировка некоторых результатов в SE::Google::Suggest [https://a-parser.com/wiki/se-google-suggest/] Исправлена ситуация, когда не читались настройки из config.txt

21.06.2018, 11:29	#8
A-Parser Support Пользователь Регистрация: 01.12.2016 Сообщений: 241 Вы сказали Спасибо: 0 Поблагодарили 1 раз в 1 сообщении Репутация: 10	Сборник рецептов #24 Сборник рецептов #24: уведомление в Telegram об экспайре доменов, чекер РКН и работа с SQLite [url=https://a-parser.com/threads/4591/] 24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали! Получаем уведомления в Telegram об окончании срока регистрации доменов [url=https://a-parser.com/resources/287/] Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше. Проверка блокировки РосКомНадзора через GitHub [url=https://a-parser.com/resources/286/] В А-Парсере есть стандартный парсер Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализован в пресете по ссылке выше. Простой парсер обменника с записью в БД SQLite [url=https://a-parser.com/resources/275/] Как известно, в A-Parser есть возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше. Еще больше различных рецептов в нашем Каталоге [url=https://a-parser.com/resources/]! Предлагайте ваши идеи для новых парсеров здесь [url=https://a-parser.com/threads/3464/], лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube [url=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter [url=https://twitter.com/a_parser]. Предыдущие сборники рецептов: Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте [url=http://a-parser.com/threads/1250/] Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов [url=http://a-parser.com/threads/1328/] Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов [url=http://a-parser.com/threads/1660/] Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы [url=http://a-parser.com/threads/1674/] Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта [url=http://a-parser.com/threads/1705/] Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво [url=http://a-parser.com/threads/1737/] Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам [url=http://a-parser.com/threads/1778/] Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube [url=http://a-parser.com/threads/1809/] Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность [url=http://a-parser.com/threads/1830/] Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий [url=http://a-parser.com/threads/1881/] Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции! [url=http://a-parser.com/threads/1938/] Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок [url=http://a-parser.com/threads/2240/] Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query [url=http://a-parser.com/threads/2460/] Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты [url=http://a-parser.com/threads/2613/] Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu [url=http://a-parser.com/threads/2712/] Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей [url=https://a-parser.com/threads/2808/] Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК [url=https://a-parser.com/threads/3544/] Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов [url=https://a-parser.com/threads/3862/] Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress [url=https://a-parser.com/threads/3910/] Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов [url=https://a-parser.com/threads/4074/] Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb [url=https://a-parser.com/threads/4318/] Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов [url=https://a-parser.com/threads/4405/] Сборник рецептов #23: категории сайтов, парсинг в YML и преобразование дат [url=https://a-parser.com/threads/4517/]

02.07.2018, 12:12	#9
A-Parser Support Пользователь Регистрация: 01.12.2016 Сообщений: 241 Вы сказали Спасибо: 0 Поблагодарили 1 раз в 1 сообщении Репутация: 10	1.2.246 - обновление базы Rank::CMS и новые функции 1.2.246 - обновление базы Rank::CMS и новые функции в парсерах Baidu и MajesticSEO[url=https://a-parser.com/threads/4614/] Улучшения В Rank::CMS[url=https://a-parser.com/wiki/rank-cms/] обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json) SE::Baidu[url=https://a-parser.com/wiki/se-baidu/] полностью переписан: добавлен парсинг related keywords убран $cachedate из $serp, т.к. его похоже больше нет в выдаче добавлена опция Get full link, преобразующая обрезанные ссылки в полные исправлены некоторые регулярные выражения и баг с двойным http в ссылках Изменения в Rank::MajesticSEO[url=https://a-parser.com/wiki/rank-majesticseo/]: Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL Убран параметр Extract domain Исправлена работа в некоторых случаях Улучшена отзывчивость в редакторе JavaScript парсеров Улучшена работа HTML::EmailExtractor[url=https://a-parser.com/wiki/html-emailextractor/], устранены зависания, которые возникали на определенных страницах Обновлен список регионов в парсерах Яндекс Пустой результат в SE::Google::Trends[url=https://a-parser.com/wiki/se-google-trends/] больше не считается неудачным запросом Улучшена работа с сессиями в SE::Yandex::WordStat[url=https://a-parser.com/wiki/se-yandex-wordstat/] Исправления в связи с изменениями в выдаче Исправлен парсинг рекламы в SE::Yandex[url=https://a-parser.com/wiki/se-yandex/] Исправлена работа, а также улучшен алгоритм парсинга в SE:: DuckDuckGo[url=https://a-parser.com/wiki/se-duckduckgo/] Исправлено указание региона в парсерах Яндекс Исправлен парсинг $ads.$i.visiblelink в SE::Google::Modern[url=https://a-parser.com/wiki/se-google-modern/] Исправлен парсинг $totalcount в SE::Yandex:: Direct[url=https://a-parser.com/wiki/se-yandex-direct/] Исправления Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100 Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок Исправлено отображение кириллицы в $headers в Net::HTTP[url=https://a-parser.com/wiki/net-http/] Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать Устранена проблема с кодировкой при работе с SQLite Исправлена ошибка со сменой прокси в JavaScript парсерах

12.07.2018, 11:39	#10
A-Parser Support Пользователь Регистрация: 01.12.2016 Сообщений: 241 Вы сказали Спасибо: 0 Поблагодарили 1 раз в 1 сообщении Репутация: 10	Сборник статей #4: добавление товаров в OpenCart и парсинг JSON(https://a-parser.com/threads/4647/) В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали! Работаем с OpenCart. Часть 1. Вступление.(https://a-parser.com/resources/291/) Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше. Парсинг JSON ответов и работа с их содержимым(https://a-parser.com/resources/289/) JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API различных сервисов. В А-Парсере есть встроенные инструменты для работы с ним, но не всегда их применение может быть простым, иногда требуется дополнительно писать сложные шаблоны, используя шаблонизатор. Поэтому в статье по ссылке выше будет рассказано, как написать простой универсальный парсер JSON. Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь(https://a-parser.com/threads/3464/). Подписывайтесь на наш канал на Youtube(http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(http://www.youtube.com/c/AParser_channel). Предыдущие сборники статей Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы(https://a-parser.com/threads/4009/) Сборник статей #2: цикл статей-уроков по созданию JS парсеров(https://a-parser.com/threads/4142/) Сборник статей #3: пагинация, переменные и БД SQLite(https://a-parser.com/threads/4442/)