A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

[A-Parser Support]

[1.2.2502 - множество багфиксов, добавлена поддержка нового сервиса разгадывания каптч](https://a-parser.com/threads/8861/)



Улучшения
В парсерах Rank::Ahrefs::* добавлен параметр Additional headers, с его помощью можно добавлять заголовки к запросу
Добавлена поддержка сервиса NextCaptcha в парсеры Util::* Сервис поддерживает работу с hCaptcha, ReCaptcha2 и ReCaptcha3
В [Rank::CMS](https://a-parser.com/docs/parsers/rank-cms) теперь по-умолчанию RegExp engine = RE2
В [Rank::Ahrefs](https://a-parser.com/docs/parsers/rank-ahrefs) добавлена обработка доменов, по которым нету информации

Исправления в связи с изменениями в выдаче
[Shop::Amazon](https://a-parser.com/docs/parsers/shop-amazon) некорректно выводил количество продаж
Исправлена ошибка App ID not found в [Social::Instagram::Tag](https://a-parser.com/docs/parsers/social-instagram-tag)
В [SE::Google](https://a-parser.com/docs/parsers/se-google) исправлен парсинг при Serp type = News, а также в целом парсер адаптирован к изменениям в выдаче
Исправлена работа [SE::Startpage](https://a-parser.com/docs/parsers/se-startpage)
Исправлена работа [SecurityTrails:omain](https://a-parser.com/docs/parsers/securitytrails-domain) с опцией Mode = DNS Records
В [Shop::Yandex::Market](https://a-parser.com/docs/parsers/shop-yandex-market) исправлен проход по пагинации и парсинг наименований товаров
В [SE::Google::Images](https://a-parser.com/docs/parsers/se-google-images) исправлены проход по пагинации и ошибка при парсинге с выбором размера

Исправления
В парсерах SE::Google::KeywordPlanner::* исправлена авторизация в некоторых случаях
Исправлена логика выбора прокси после подзапросов к парсерам (например, при обращении к парсеру каптч из основного парсера)
Исправлена ошибка при работе с капчей в [SE::Yandex](https://a-parser.com/docs/parsers/se-yandex), которая появилась из-за изменений в API одного из используемых в [Util::AntiGate](https://a-parser.com/docs/parsers/util-antigate) модулей
Исправлена загрузка больших списков прокси
Исправлена работа опции Collect full region в [Maps::Google](https://a-parser.com/docs/parsers/maps-google)
Исправлена работа [Rank::CMS](https://a-parser.com/docs/parsers/rank-cms) в некоторых случаях


(https://t.me/a_parser)

(https://a-parser.com/pages/affiliate/)

[A-Parser Support]

[Видео урок: установка A-Parser на Linux с использованием Docker](https://a-parser.com/threads/8883/)

В этом видео рассмотрено установку A-Parser на Linux с использованием Docker.

https://www.youtube.com/embed/zJsR0QV58BY?wmode=opaque

Содержание:
Действия перед установкой
Установка Docker
Загрузка и распаковка дистрибутива A-Parser
Запуск с логом и в фоне
Просмотр файла лога
Запуск используя docker-compose

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: [A-Parser](https://www.youtube.com/c/AParser_channel) и [DIM STUDIO](https://www.youtube.com/channel/UCzTUeWXwm4YApVVXTWwySrw)[!](https://www.youtube.com/c/AParser_channel)

(https://t.me/a_parser)

(https://a-parser.com/pages/affiliate/)

[A-Parser Support]

[Дайджест новостей A-Parser](https://a-parser.com/threads/8934/)

[Проверка наличия сайта на Miralinks](https://a-parser.com/resources/518/)
Новый пример в Каталоге: пресет для проверки доменов на наличие на бирже Miralinks, который проверяет, есть ли домен на Miralinks, выгружает его стоимость и ссылку на профиль на бирже.


[Парсер Aliexpress товаров](https://a-parser.com/resources/451/update?update=890)
Обновление парсера, позволяющего получать информацию о товаре на AliExpress, подавая в качестве запроса ссылку на товар.
Адаптация к изменениям на ресурсе

[JS::TitleParser](https://a-parser.com/resources/28/update?update=891)
Обновление базового примера для парсинга HTML тега title на произвольной странице.
Парсер переписан на JS API v2
Добавлено поле для указания юзер-агента

[Парсинг данных о Youtube канале](https://a-parser.com/resources/426/update?update=892)
Обновление парсера данных о Youtube каналах.
Исправлен сбор данных
Адаптация к изменениям в верстке
Убран сбор данных о монетизации, т.к. известный метод определения больше не работает

[Google Products](https://a-parser.com/resources/453/update?update=893)
Обновление парсера товаров из Google выдачи.
Ссылка на сайт теперь берется из названия магазина

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [здесь](https://a-parser.com/threads/3464/).

Подписывайтесь на [наш канал на Youtube](http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Twitter](https://twitter.com/a_parser).

[](https://t.me/a_parser)

[](https://a-parser.com/pages/affiliate/)

[A-Parser Support]

[Дайджест новостей A-Parser](https://a-parser.com/threads/8969/)

[ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта](https://a-parser.com/resources/494/update?update=894)
Обновление парсера сервиса zerogpt.com. С помощью него можно проверять грамматику и орфографию, а также определять использование ИИ в текстах.
Добавлено использование браузера при Mode = AI Grammar Spell Checker
Добавлена опция Browser Headless которая включает и отключает отображение интерфейса браузера
[Парсер HypeStat](https://a-parser.com/resources/456/update?update=895)
Обновление парсера сервиса статистики и аналитики веб-сайтов HypeStat.
Исправлен сбор результатов
Некоторые результаты вынесены из массивов в обычные (плоские) результаты
[Сокращатель ссылок](https://a-parser.com/resources/455/update?update=896)
Обновление парсера для массового сокращения ссылок с возможностью выбирать используемый сервис.
Исправлены: 1pt.co, clck.ru, urlshort.dev
Отключен gg.gg, т.к. сервис не работает
Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
[График работы поддержки на праздники](https://a-parser.com/threads/8950/)

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [здесь](https://a-parser.com/threads/3464/).

Подписывайтесь на [наш канал на Youtube](http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Twitter](https://twitter.com/a_parser).

[](https://t.me/a_parser)

[](https://a-parser.com/pages/affiliate/)

[A-Parser Support]

[1.2.2573 - новый парсер отзывов из Google карт, оптимизации работы встроенных парсеров, багфиксы](https://a-parser.com/threads/8979/)



Улучшения
Добавлен новый парсер Maps::Google::Reviews(https://a-parser.com/docs/parsers/maps-google-reviews), который позволяет парсить отзывы к местам на Google картах
Парсер SE::Bing(https://a-parser.com/docs/parsers/se-bing) полностью переписан, полный список изменений тут(https://a-parser.com/threads/8949/)
Добавлены альтернативные сервера авторизации для пользователей из РФ
Улучшена работа Shop::Amazon(https://a-parser.com/docs/parsers/shop-amazon): значительно снижена вероятность бана
Улучшена работа Util::Antigate(https://a-parser.com/docs/parsers/util-antigate): теперь манипуляции с картинками каптч занимают меньше времени и потребляют меньше ресурсов

Улучшена работа HTML::TextExtractor::LangDetect(https://a-parser.com/docs/parsers/html-textextractor-langdetect): обновлен модуль определения языка и оптимизирован алгоритм работы

SE::Yandex::Speller(https://a-parser.com/docs/parsers/se-yandex-speller) теперь может принимать на вход как ссылки, так и ключевые слова (тексты)

В Reddit::Posts(https://a-parser.com/docs/parsers/reddit-posts) добавлена опция Use HTTP/2 transport

Улучшение скорости работы parser.request(https://a-parser.com/docs/javascript-parsers/class-methods-v2/http-requests) и API::Server::Redis(https://a-parser.com/docs/parsers/api-server-redis) (будет заметно при большой интенсивности запросов и большом размере самих запросов(от 10кб))

Исправления в связи с изменениями в выдаче
Social::Instagram::Geo(https://a-parser.com/docs/parsers/social-instagram-geo) - исправлена проблема Content mismatch при определенных запросах
Shop::Amazon(https://a-parser.com/docs/parsers/shop-amazon) - адаптация к изменениям в верстке, исправлена работа при Domain=United Kingdom
Social::Instagram::Post(https://a-parser.com/docs/parsers/social-instagram-post) - исправлена ошибка при сборе $video_link

Исправлена работа SE::Quora(https://a-parser.com/docs/parsers/se-quora), теперь требуется указывать куки авторизованного аккаунта, подробнее тут(https://a-parser.com/threads/8858/)
Исправлена работа Social::TikTok::Profile(https://a-parser.com/docs/parsers/social-tiktok-profile)
Исправлен SE:uckDuckGo(https://a-parser.com/docs/parsers/se-duckduckgo)

Исправления
SE::Yandex(https://a-parser.com/docs/parsers/se-yandex) - исправлена поддержка puzzle каптчи при Engine=Browser

Rank::CMS(https://a-parser.com/docs/parsers/rank-cms) - исправлена ошибка, возникающая для некоторых технологий
Исправлен Cloudflare::Radar(https://a-parser.com/docs/parsers/cloudflare-radar)


(https://t.me/a_parser)

(https://a-parser.com/pages/affiliate/)

[A-Parser Support]

1.2.2596 - обход новой проверки Google, несколько других исправлений(https://a-parser.com/threads/8997/)



Примерно с вечера 15 января Google поиск начал требовать в обязательном порядке включенный JavaScript и включил дополнительную проверку. Из-за это перестали работать существующие парсеры Google, проблема затронула даже такие крупные сервисы, как Similarweb.

Мы также начали получать множество сообщений о проблеме с парсером Google, и сразу взялись за ее решение. Первый, временный, фикс был выпущен уже на следующий день. После этого было еще несколько исправлений, а [финальное решение](https://a-parser.com/threads/8991/) стало доступным 20 января.

После нескольких дней тестирования было решено сделать внеочередной релиз, чтобы у пользователей на stable канале обновлений также возобновилась возможность парсить Google.


Кроме этого в релиз вошли следующие изменения:
В парсерах OpenAI::* теперь можно указывать API domain с протоколом (http/https)
Исправлена ошибка инициализации Util::AntiGate(https://a-parser.com/docs/parsers/util-antigate) в некоторых окружениях
Исправлена работа Social::Instagram::Search(https://a-parser.com/docs/parsers/social-instagram-search)
Исправлена проблема, из-за которой в Social::Instagram::Geo(https://a-parser.com/docs/parsers/social-instagram-geo) собиралось только 24 поста


(https://t.me/a_parser)

(https://a-parser.com/pages/affiliate/)

[A-Parser Support]

[Дайджест новостей A-Parser](https://a-parser.com/threads/9014/)


[Выгрузка кликов из GSC](https://a-parser.com/resources/521/)

Новый парсер от пользователя [@seohive](https://a-parser.com/users/55452/). С его помощью можно выгружать из Google Search Console статистику по кликам в проекте. Выгружает брендовые и все клики. Можно отдельно указать маску url и выгрузить клики определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.


[Выгрузка поискового трафика из Яндекс Метрики](https://a-parser.com/resources/520/)

Еще один новый парсер от пользователя [@seohive](https://a-parser.com/users/55452/). С его помощью можно выгружать из Яндекс Метрики статистику по трафику из поисковых систем. Выгружает трафик из Яндекс, Google и небрендовый из Яндекс. Можно отдельно указать маску url и выгрузить трафик определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.


[Выгрузка данных по позициям из Topvisor](https://a-parser.com/resources/519/)

И еще один новый парсер от [@seohive](https://a-parser.com/users/55452/). С его помощью можно выгружать из проекта в Topvisor статистику по позициям в проекте. Выгружает по группам и конкурентам количество запросов всего, в ТОП 3, ТОП 10 и ТОП 30 по датам. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.


Работа парсера SE::Google

Напоминаем, что недавно Google ввел дополнительную проверку на включенный JS в поиске, из-за чего нарушилась работа многих парсеров и сервисов. Мы оперативно [выпустили обновление](https://a-parser.com/threads/8997/) для [SE::Google](https://a-parser.com/docs/parsers/se-google) и постоянно продолжаем отслеживать изменения. После выпуска stable версии у гугла были еще изменения, поэтому (на момент публикации новости) для корректной работы парсера Google нужно обновиться на последнюю beta версию.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь [здесь](https://a-parser.com/threads/3464/).


Подписывайтесь на [наш канал на Youtube](http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Twitter](https://twitter.com/a_parser).



[](https://t.me/a_parser)

[](https://a-parser.com/pages/affiliate/)

[A-Parser Support]

Видео урок: вывод результатов в CSV, JSON и HTML(https://a-parser.com/threads/9021/)

Новое видео по работе с A-Parser от DIM STUDIO в котором показаны способы форматирования результатов в CSV, HTML и JSON.

https://www.youtube.com/embed/x-98uqyNGt0

Плейлист со всеми видео уроками от DIM STUDIO(https://www.youtube.com/playlist?list=PLbbGw_gNNUTtMuALSjqUXcrgGQaSV1thm)

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: [A-Parser](https://www.youtube.com/c/AParser_channel) и [DIM STUDIO](https://www.youtube.com/channel/UCzTUeWXwm4YApVVXTWwySrw)[!](https://www.youtube.com/c/AParser_channel)

(https://t.me/a_parser)
(https://a-parser.com/pages/affiliate/)

[A-Parser Support]

[Дайджест новостей A-Parser](https://a-parser.com/threads/9037/)

[Meta Ad Library](https://a-parser.com/resources/522/)
Новый парсер в каталоге: парсер библиотеки рекламы Meta (Facebook, Instagram, Whatsapp...). Позволяет собирать количество рекламных объявлений по ключевому слову с учетом заданных фильтров и массив рекламных объявлений.

[Парсер поиска Телеграм постов по ключевым словам с tgdev.io/tme](https://a-parser.com/resources/480/update?update=904)
Обновление одноименного парсера.

• Убраны не актуальные опции, убрано решение каптчи
• Исправлен сбор результатов

[Парсинг объявлений из olx.ua/olx.pl/olx.kz](https://a-parser.com/resources/47/update?update=905)
Обновление парсера данных из объявлений на OLX

• Исправлен парсинг номеров телефонов
• Исправлен парсинг кол-ва просмотров

[JS::SE::Yandex:: Position::ByRegion](https://a-parser.com/resources/226/updates)
Обновление парсера для проверки позиций сайтов в поисковой выдаче Яндекс сразу по нескольким регионам

• Парсер переписан на JS API v2 (TS)
• Вместо выбора пресета настроек теперь используется наследование от [SE::Yandex::Position](https://a-parser.com/docs/parsers/se-yandex-position)
• В парсере теперь используется новый, более полный и актуальный справочник регионов

[Подсказки Google Play](https://a-parser.com/resources/38/update?update=900)
Обновление парсера подсказок магазина Google Play

• Адаптация к изменениям на источнике

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки - отписывайтесь [здесь](https://a-parser.com/threads/3464/).

Подписывайтесь на [url=http://www.youtube.com/c/AParser_channel]наш канал на Youtube[/url] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Twitter](https://twitter.com/a_parser).

(https://t.me/a_parser)
(https://a-parser.com/pages/affiliate/)

[A-Parser Support]

[Дайджест новостей A-Parser](https://a-parser.com/threads/9067/)

[Парсинг расшифровки Youtube видео](https://a-parser.com/resources/523/)
Новый пресет в Каталоге, в котором показан способ парсинга расшифровки Youtube видео с использованием встроенного парсера [SE::YouTube::Video](https://a-parser.com/docs/parsers/se-youtube-video). Решение основано на выводе собираемых результатов в том виде, в котором они отображаются в браузере.

[Парсер всех видео с Youtube канала](https://a-parser.com/resources/504/updates)
Обновление парсера для сбора списка видео (с их характеристиками) из Youtube каналов

• Исправлена работа с каналами, у которых всего 1 вкладка
• Добавлена обработка Shorts, если они выдаются вместе с видео (или вместо видео)
• Добавлена обработка случаев, когда канал не существует
• Исправлен обход окна соглашения, которое появляется при запросах с IP некоторых стран
• Исправлена логика повторных попыток, в некоторых случаях парсер их не делал

[Парсинг популярных запросов за сутки Google Trends](https://a-parser.com/resources/450/update?update=909)
Обновление парсера для сбора трендовых поисковых запросов из Google Trends

• Парсер полностью переписан в связи с изменениями на источнике
• Изменен набор собираемых данных
• Изменен список параметров

[Парсинг объявлений из olx.ua/olx.pl/olx.kz](https://a-parser.com/resources/47/update?update=910)
Очередное обновление парсера данных из объявлений на OLX

• Исправлен парсинг номеров телефонов

[Парсинг Авито](https://a-parser.com/resources/21/update?update=911)
Обновление парсера объявлений Аvito

• Исправлена работа парсера

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь [здесь](https://a-parser.com/threads/3464/).

Подписывайтесь на [url=http://www.youtube.com/c/AParser_channel]наш канал на Youtube[/url] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Twitter](https://twitter.com/a_parser).

(https://t.me/a_parser)
(https://a-parser.com/pages/affiliate/)