A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

[EnotSka]

Очень годно, хотелось бы попробовать в деле

[immediately]

Отличный парсер, советую всё супер. Так что можете смело покупать

[A-Parser Support]

1.2.1076 - 3 новых парсера, завершение перехода на Node.js, интеграция puppeteer в сборку(https://a-parser.com/threads/6566/)


Улучшения

• В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
  • Net::HTTP (https://a-parser.com/wiki/net-http/)
  • HTML::LinkExtractor (https://a-parser.com/wiki/html-linkextractor/)
  • HTML::TextExtractor (https://a-parser.com/wiki/html-textextractor/)
  • HTML::TextExtractor::LangDetect (https://a-parser.com/wiki/html-textextractor-langdetect/)
  • Check::BackLink (https://a-parser.com/wiki/check-backlink/)
• Основные улучшения от перевода данных парсеров на Node.js:
  • увеличение производительности в ~1.5 раза
  • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
• Добавлены новые парсеры:
  • DeepL::Translator (https://a-parser.com/wiki/deepl-translator/)
  • Rank::Ahrefs::KeywordDifficulty (https://a-parser.com/wiki/rank-ahrefs-keyworddifficulty/)
  • Rank::Ahrefs::KeywordGenerator (https://a-parser.com/wiki/rank-ahrefs-keywordgenerator/)
• В HTML::EmailExtractor (https://a-parser.com/wiki/html-emailextractor/) добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
• В SE::Google::Translate (https://a-parser.com/wiki/se-google-translate/) добавлены новые переменные:
  • $translit_orig - оригинальный текст транслитом
  • $translit_translated - переведенный текст транслитом
  • $variants.$i.text - список вариантов перевода оригинального текста
• В SE::Bing (https://a-parser.com/wiki/se-bing/) обновлен список регионов и языков
• В Social::Instagram::Profile (https://a-parser.com/wiki/social-instagram-profile/) и Social::Instagram::Post (https://a-parser.com/wiki/social-instagram-post/) добавлена возможность собирать кол-во видеопросмотров
• В SE::Yandex::Translate (https://a-parser.com/wiki/se-yandex-translate/) добавлена возможность отключать использование сессий
• В Net::HTTP (https://a-parser.com/wiki/net-http/) добавлена возможность указывать user-agent для Chrome
• В парсере Rank::MOZ (https://a-parser.com/wiki/rank-moz/) исправлена ошибка, возникающая при вызове парсера из JS методом this.parser.request().
• В Rank::CMS (https://a-parser.com/wiki/rank-cms/) добавлена поддержка нового apps.json и возможность использовать Net::HTTP (https://a-parser.com/wiki/net-http/)
• В Net::Whois (https://a-parser.com/wiki/net-whois/) обновлена поддержка всех зон
• Для проксичекеров добавлена опция Exclude from "All", а также сделаны изменения в логике:
  • "All" - использует все прокси выбранные для задании
  • конкретный проксичекер - использует его, даже если он не выбран в задании
• Добавлена поддержка устаревших версий SSL
• JS парсеры: Добавлена опция tlsOpts для this.request(), позволяет передавать настройки для https соединений
• JS парсеры: обновление Node.js с 14.2.0 до 14.15.0
• JS парсеры: модуль puppeteer включен в сборку А-Парсера и не требует отдельной установки

Исправления в связи с изменениями в выдаче

• Множество различных исправлений в SE::Google (https://a-parser.com/wiki/se-google/) и SE::Yandex (https://a-parser.com/wiki/se-yandex/) в связи с изменениями в выдаче
• В SE::Yandex (https://a-parser.com/wiki/se-yandex/) удалена функция автораспознавания каптч в связи с изменением вида каптч
• Исправлена работа SE::Google::Translate (https://a-parser.com/wiki/se-google-translate/)
• В HTML::EmailExtractor (https://a-parser.com/wiki/html-emailextractor/) исправлена ошибка, при которой пропускались большие блоки html
• Исправлена ошибка в Social::Instagram::profile (https://a-parser.com/wiki/social-instagram-profile/) из-за которой не парсилось больше одной страницы
• Исправлена авторизация в SE::Google::KeywordPlanner (https://a-parser.com/wiki/se-google-keywordplanner/)
• В SE::Google::TrustCheck (https://a-parser.com/wiki/se-google-trustcheck/) исправлено определение горизонтальных блоков ссылок
• В SE::Baidu (https://a-parser.com/wiki/se-baidu/) исправлен парсинг related keywords
• В Shop::Amazon (https://a-parser.com/wiki/shop-amazon/) исправлен сбор продавцов, а также исправлена ошибка, связанная с количество страниц
• Исправлен Rank::Linkpad (https://a-parser.com/wiki/rank-linkpad/), а также в нем удалена переменная $links_cost, т.к. этого показателя больше нет на источнике
• В Rank::Social::Signal (https://a-parser.com/wiki/rank-social-signal/) в связи с неактуальностью удалена переменная $googleplus_like
• В Rank::CMS (https://a-parser.com/wiki/rank-cms/) исправлено определение по признакам скриптов для нового apps.json
• Также адаптированы к изменениям в выдаче: SE::Yandex::Translate (https://a-parser.com/wiki/se-yandex-translate/), SE::MailRu (https://a-parser.com/wiki/se-mailru/), Rank::MajesticSEO (https://a-parser.com/wiki/rank-majesticseo/), SE::Yandex::Direct (https://a-parser.com/wiki/se-yandex-direct/), SE::Google::ByImage (https://a-parser.com/wiki/se-google-byimage/), Rank::Ahrefs (https://a-parser.com/wiki/rank-ahrefs/), Shop::eBay (https://a-parser.com/wiki/shop-ebay/), SE::Yandex::Register (https://a-parser.com/wiki/se-yandex-register/), SE::Seznam (https://a-parser.com/wiki/se-seznam/), Shop::Yandex::Market (https://a-parser.com/wiki/shop-yandex-market/), SE::Dogpile (https://a-parser.com/wiki/se-dogpile/), SE::Dogpile::Images (https://a-parser.com/wiki/se-dogpile-images/), SE::Startpage (https://a-parser.com/wiki/se-startpage/), SE::Baidu (https://a-parser.com/wiki/se-baidu/), Shop::AliExpress (https://a-parser.com/wiki/shop-aliexpress/), SE::Youtube (https://a-parser.com/wiki/se-youtube/), Rank::Social::Signal (https://a-parser.com/wiki/rank-social-signal/), SE::Yandex::SQI (https://a-parser.com/wiki/se-yandex-sqi/), SecurityTrails::Domain (https://a-parser.com/wiki/securitytrails-domain/)

Исправления

• В SE::Yandex (https://a-parser.com/wiki/se-yandex/) исправлена работа Extra query string
• Исправлено регулярное выражение в HTML::EmailExtractor (https://a-parser.com/wiki/html-emailextractor/) для устранения ошибок в некоторых случаях
• Исправлено поведение парсера SE::Google::KeywordPlanner (https://a-parser.com/wiki/se-google-keywordplanner/) при отсутствии результатов по запросу
• Maps::Yandex (https://a-parser.com/wiki/maps-yandex/) исправлен и переведен на puppeteer
• Исправлена ошибка в приоритетах выбора проксичекера
• JS парсеры: исправлен follow_meta_refresh
• API: исправлена работа параметра rawResults

– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ

[A-Parser Support]

Сборник рецептов #45: парсеры Google Places и prom.ua, получение характеристик картинок "на лету" (https://a-parser.com/threads/6704/)

45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.

Парсер Google Places (https://a-parser.com/resources/413/)

Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.



Парсер prom.ua (https://a-parser.com/resources/417/)

Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.



Скачивание картинок (https://a-parser.com/resources/415/)

В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.



Еще больше различных рецептов в нашем Каталоге (https://a-parser.com/resources/)!
Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser).

– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
- https://a-parser.com/pages/affiliate/

[A-Parser Support]

1.2.1148 - накопительное обновление встроенных парсеров и исправление Bypass Cloudflare(https://a-parser.com/threads/6737/)



Улучшения

• В HTML::LinkExtractor (https://a-parser.com/wiki/html-linkextractor/) добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
• Повышена производительность Shop::Yandex::Market (https://a-parser.com/wiki/shop-yandex-market/)
• В Check::RosKomNadzor (https://a-parser.com/wiki/check-roskomnadzor/) добавлена возможность выбирать источник для проверки
• Maps::Yandex (https://a-parser.com/wiki/maps-yandex/) переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
• В Rank::Alexa::API (https://a-parser.com/wiki/rank-alexa-api/) добавлена возможность получать название страны вместо ее кода
• В Rank::Ahrefs (https://a-parser.com/wiki/rank-ahrefs/) расширен перечень собираемых данных
• В SE::Seznam (https://a-parser.com/wiki/se-seznam/) добавлена поддержка сессий и возможность разгадывать каптчи
• Реализована возможность использовать прокси с одним IP:port, но с разными логинами

Исправления в связи с изменениями в выдаче

• Множество различных адаптаций к изменениям в верстке страниц с результатами в SE::Google (https://a-parser.com/wiki/se-google/) и SE::Yandex (https://a-parser.com/wiki/se-yandex/)
• Множество исправлений в Rank::MajesticSEO (https://a-parser.com/wiki/rank-majesticseo/), связанных с постоянными изменениями в логике запроса и верстке страницы
• В Rank::Alexa::API (https://a-parser.com/wiki/rank-alexa-api/) исправлено получение кода страны
  В Rank::Ahrefs (https://a-parser.com/wiki/rank-ahrefs/) исправлен парсинг рейтинга
• Исправлена работа с каптчами в SE::Yandex (https://a-parser.com/wiki/se-yandex/), SE::Yandex::SQI (https://a-parser.com/wiki/se-yandex-sqi/), SE::Yandex::Images (https://a-parser.com/wiki/se-yandex-images/)
• Исправлен парсинг $keywords в SE::Yandex::ByImage (https://a-parser.com/wiki/se-yandex-byimage/)
• Исправлена работа SE::Yandex::Direct (https://a-parser.com/wiki/se-yandex-direct/), SE::Ask (https://a-parser.com/wiki/se-ask/), SE::Baidu (https://a-parser.com/wiki/se-baidu/), SE::Bing::Suggest (https://a-parser.com/wiki/se-bing-suggest/), Rank::KeysSo (https://a-parser.com/wiki/rank-keysso/), SE::Google::TrustCheck (https://a-parser.com/wiki/se-google-trustcheck/), SE::Google::ByImage (https://a-parser.com/wiki/se-google-byimage/), Check::RosKomNadzor (https://a-parser.com/wiki/check-roskomnadzor/), SE::Seznam (https://a-parser.com/wiki/se-seznam/), SE::MailRu (https://a-parser.com/wiki/se-mailru/), Rank::Ahrefs (https://a-parser.com/wiki/rank-ahrefs/), Rank::Ahrefs::KeywordDifficulty (https://a-parser.com/wiki/rank-ahrefs-keyworddifficulty/), Rank::Ahrefs::KeywordGenerator (https://a-parser.com/wiki/rank-ahrefs-keywordgenerator/)

Исправления

• Исправлен экспериментальный обход защиты Cloudflare с помощью Chrome
• Исправлена ошибка в Maps::Yandex (https://a-parser.com/wiki/maps-yandex/), из-за которой не собиралось больше 1 страницы, а также исправлена проблема с получением исходного кода страниц
• В SE::Youtube (https://a-parser.com/wiki/se-youtube/) исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
• В SE::Google::KeywordPlanner (https://a-parser.com/wiki/se-google-keywordplanner/) исправлена авторизация
• Исправлена утечка памяти, которая проявлялась при долго работающих заданиях с большим числом запросов
• Исправлена ошибка с Buffer, проблема появилась в одной из предыдущих версий

- https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
- https://a-parser.com/pages/affiliate/

[A-Parser Support]

Обновление документации и курс по заработку на PBN используя A-Parser - https://a-parser.com/threads/6861/

Обновленная документация

Мы не стоим на месте: постоянно совершенствуем наш продукт, расширяем его функционал, ориентируясь на сегодняшние потребности пользователей и на удобство использования A-Parser. В соответствии с этим мы полностью обновили нашу техническую документацию, в первую очередь изменили интерфейс, создали логичную структуру разделов, предусмотрели удобную навигацию и поиск.

Кроме дополнения и обновления существующей документации добавлены новые, ранее не публиковавшиеся разделы:

• настройка и работа с Docker
• новое для написания JS парсеров с использованием TypeScript
• использование Chrome с прокси с помощью Puppeteer
• взаимодействие с A-Parser через Redis API
• использование Node.js модулей

Также, для всех встроенных парсеров добавили блоки с примерами их использования. Вся документация сопровождается скриншотами и различными примерами, большинство из которых можно импортировать в свой А-Парсер и изучить.

Обновленная документация еще будет расширяться и дополняться, но Вы уже сейчас можете ознакомиться с ней, перейдя по ссылке: https://a-parser.com/docs/


Курс по заработку на PBN используя A-Parser(+включает лицензию)

Наш хороший друг Николай Кодий запускает второй набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов. Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов. Данный курс без "воды" — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. Курс насыщен практикой на реальных задачах. Каждый выпускник сможет в дальнейшем сотрудничать с Николаем или получить рекомендацию от него и контакты компаний, которые часто ищут специалистов по PBN. Подробнее о курсе читайте в его телеграм-канале https://t.me/mypbn/1113

- https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
- https://a-parser.com/pages/affiliate/

[A-Parser Support]

Сборник рецептов #46: парсинг сообщений из Viber, корейский поисковик и сбор контактов организаций - https://a-parser.com/threads/6884/

46-й сборник рецептов, в который вошли парсер сообщений Viber, парсер корейского поисковика и пресет для сбора контактов организаций из каталога.

Парсер Viber - сбор сообщений из публичных групп вайбер - https://a-parser.com/resources/422/

В А-Парсере уже довольно давно существует парсер для сбора сообщений из публичных групп в Telegram. Представляем аналогичное решение для не менее популярного мессенджера - Viber.



Парсер корейского поисковика Daum.net - https://a-parser.com/resources/418/

Еще один парсер поисковых систем, на этот раз корейской daum.net



Парсинг контактов организаций из ua-region.info - https://a-parser.com/resources/416/

Пресет для сбора телефонов, почт, сайтов, адресов и прочей информации из каталога организаций ua-region.info




Еще больше различных рецептов в нашем Каталоге!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

- https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
- https://a-parser.com/pages/affiliate/

[A-Parser Support]

1.2.1239 - обновление Node.js, поддержка ReCaptcha v3 и Smart captcha, исправление ошибок(https://a-parser.com/threads/6911/)



Улучшения

• Node.js обновлен до версии 15.14.0
• Добавлена возможность разгадывать Google ReCaptcha v3 в виде нового парсера Util::ReCaptcha3 (https://a-parser.com/docs/parsers/util-recaptcha3)
• В SE::Yandex (https://a-parser.com/docs/parsers/se-yandex), а также в некоторых других парсерах Яндекса реализована обработка новой Smart captcha
• В Rank::MajesticSEO (https://a-parser.com/docs/parsers/rank-majesticseo) добавлен режим парсинга через Chrome
• В SE:: DuckDuckGo (https://a-parser.com/docs/parsers/se-duckduckgo) актуализированы языки и регионы
• В SE::Google::Cache (https://a-parser.com/docs/parsers/se-google-cache) добавлена возможность использовать сервисы разгадывания рекаптч
• В SE::YouTube (https://a-parser.com/docs/parsers/se-youtube) добавлен сбор ссылок на канал
• Актуализирован список языков в DeepL::Translator (https://a-parser.com/docs/parsers/deepl-translator)
• Теперь в SE::Bing (https://a-parser.com/docs/parsers/se-bing) при обнаружении бана, прокси банится парсером вместо простой смены
• В Shop::Amazon (https://a-parser.com/docs/parsers/shop-amazon) обновлен юзер-агент, за счет чего выросла производительность

Исправления в связи с изменениями в выдаче

• Множество адаптаций SE::Google (https://a-parser.com/docs/parsers/se-google) и SE::Yandex (https://a-parser.com/docs/parsers/se-yandex) к изменениям в верстке страниц с выдачей
• Исправлен постоянный бан запросов в SE::Google::Cache (https://a-parser.com/docs/parsers/se-google-cache) и SE::Bing (https://a-parser.com/docs/parsers/se-bing)
• Исправлен проход по пагинации в SE:: DuckDuckGo (https://a-parser.com/docs/parsers/se-duckduckgo)
• В SE::Youtube (https://a-parser.com/docs/parsers/se-youtube) исправлен подсчет кол-ва результатов и определение существования следующей страницы
• Исправлена работа с каптчей в Shop::Amazon (https://a-parser.com/docs/parsers/shop-amazon)
• Исправлена разбивка на блоки больших запросов в SE::Yandex::Translate (https://a-parser.com/docs/parsers/se-yandex-translate)
• Исправлены SE::Bing (https://a-parser.com/docs/parsers/se-bing), SE::MailRu (https://a-parser.com/docs/parsers/se-mailru), SE::MailRu::Position (https://a-parser.com/docs/parsers/se-mailru-position), SE::Google::Compromised (https://a-parser.com/docs/parsers/se-google-compromised), Rank::MajesticSEO (https://a-parser.com/docs/parsers/rank-majesticseo), Rank::KeysSo (https://a-parser.com/docs/parsers/rank-keysso), SE::Yandex:: Direct (https://a-parser.com/docs/parsers/se-yandex-direct), SecurityTrails::IP (https://a-parser.com/docs/parsers/securitytrails-ip), Net::Whois (https://a-parser.com/docs/parsers/net-whois), SE::Bing::Translator (https://a-parser.com/docs/parsers/se-bing-translator), SE:: DuckDuckGo (https://a-parser.com/docs/parsers/se-duckduckgo), Social::Instagram::Profile (https://a-parser.com/docs/parsers/social-instagram-profile), Shop::Yandex::Market (https://a-parser.com/docs/parsers/shop-yandex-market), Rank::Ahrefs::KeywordGenerator (https://a-parser.com/docs/parsers/rank-ahrefs-keywordgenerator), Rank::Ahrefs::KeywordDifficulty (https://a-parser.com/docs/parsers/rank-ahrefs-keyworddifficulty), SE::Seznam (https://a-parser.com/docs/parsers/se-seznam), Shop::Amazon (https://a-parser.com/docs/parsers/shop-amazon), Rank::Linkpad (https://a-parser.com/docs/parsers/rank-linkpad)

Исправления

• Исправлен баг в HTML::LinkExtractor (https://a-parser.com/docs/parsers/html-linkextractor), из-за которого парсинг по запросу останавливался с ошибкой
• В Rank::MOZ (https://a-parser.com/docs/parsers/rank-moz) исправлено отсутствие повторных попыток, а также изменена логика определения неудачных запросов
• Исправлена ошибка проверки прокси, если в пароле был символ "*"
• Исправлен баг, из-за которого при использовании шаблонизатора в Additional headers переставал работать Check content
• Исправлена логика проверки результатов в SE::Bing::Images (https://a-parser.com/docs/parsers/se-bing-images)
• Исправлена работа XPath
• Исправлена утечка памяти: при длительной работе процесс node.js постепенно заполнял всю доступную оперативную память
• Исправлена работа с прокси на некоторых сайтах, баг появился в одной из предыдущих бета-версий

– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
- https://a-parser.com/pages/affiliate/

[A-Parser Support]

Курс по заработку на PBN используя A-Parser(+включает лицензию)(https://a-parser.com/threads/6998/)



Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Курс учит профессии или помогает в ней прокачаться и упорядочить знания.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Данный курс без "воды" и с живыми вебинарами, с разборками домашних заданий — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. А, кроме того, сможете попрактиковаться в поиске дропов на продажу. И поднятии на них сеток, для себя или на продажу.

Курс насыщен практикой на реальных задачах. Каждый выпускник получает весь необходимый инструментарий. Многие из выпускников потом находят работу в хороших компаниях или работают на себя.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link

– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
- https://a-parser.com/pages/affiliate/

[A-Parser Support]

Сборник рецептов #47: информация о Youtube каналах, отзывы из Google Play и чекер апдейтов - https://a-parser.com/threads/7032/

47-й сборник рецептов, в который вошли парсер данных о Youtube каналах, парсер отзывов из Google Play и универсальный чекер изменений на страницах с уведомлением в Telegram.

Парсинг данных о Youtube канале
Парсер для сбора информации о каналах на Youtube. Данный парсер собирает описания каналов, дату регистрации, общее количество просмотров, страну, ссылки и email, если он есть в описании.


Парсинг отзывов Google Play Market
Парсер комментариев к приложениям в Google Play, который позволяет парсить как тексты отзывов, так и различную информацию: имя автора, аватар, дату и рейтинг.


Универсальный чекер апдейтов(текста, цен и т.п.) на страницах с уведомлением в Telegram
Данный парсер позволяет отслеживать изменения на различных страницах и получать уведомления в Telegram. Особенностью парсера является возможность гибко добавлять признаки для разных сайтов без необходимости вмешиваться в код. Также парсер формирует отчет, в котором видно сколько раз сработали и сколько уведомлений было отправлено.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов