[A-Parser Support]

1.2.1511 - улучшение работы с Chrome и обхода защит, обновление NodeJS, парсер подсказок Wildberries(https://a-parser.com/threads/7450/)



Улучшения

• Реализован обход защит по TLS отпечаткам, теперь запросы A-Parser на 100% выглядят как Chrome
• NodeJS обновлен до 16.15.0
• В SE::Google (https://a-parser.com/docs/parsers/se-google) добавлен параметр Narrow results by region, который позволяет сузить поиск до конкретной страны
• В парсере Maps::Google (https://a-parser.com/docs/parsers/maps-google) добавлен автоматический обход координат в заданном регионе, детальнее здесь (https://a-parser.com/threads/7363/)
• В Telegram::GroupScraper (https://a-parser.com/docs/parsers/telegram-groupscraper) добавлена опция Start message number, которая позволяет задать с какого номера собирать сообщения в телеграм чате
• В SE::YouTube (https://a-parser.com/docs/parsers/se-youtube) добавлен сбор количества подписчиков канала
• В SE::Google::Trends (https://a-parser.com/docs/parsers/se-google-trends) добавлен сбор id тем для related topics
• В парсере Shop::Wildberries::ProductsList (https://a-parser.com/docs/parsers/shop-wildberries-productslist) добавлен сбор ключей из "Еще ищут" и "Возможно вам понравится"
• Добавлен парсер подсказок Wildberries: Shop::Wildberries::Suggest (https://a-parser.com/docs/parsers/shop-wildberries-suggest)
• В Shop::Wildberries::ProductInfo (https://a-parser.com/docs/parsers/shop-wildberries-productinfo) добавлен сбор дополнительных данных
• В SE::Google::Images (https://a-parser.com/docs/parsers/se-google-images) добавлены новые типы в Usage rights
• Добавлена возможность выводить исходные данные (raw data) в парсерах Ahrefs
• В Net::HTTP (https://a-parser.com/docs/parsers/net-http) и JS парсерах добавлена опция Randomize TLS Fingerprint
• Улучшена работа с Chromium из JavaScript парсеров
• В Net::HTTP (https://a-parser.com/docs/parsers/net-http) и this.request() (https://a-parser.com/docs/javascript-parsers/class-methods-v2/http-requests) теперь по-умолчанию используется user-agent последнего Chrome

Исправления в связи с изменениями в выдаче

• Множество адаптаций к изменениям в верстке Google, Яндекс, Bing
• В парсерах Яндекса исправлен парсинг турбо страниц
• Исправлена работа SE::Yandex::WordStat (https://a-parser.com/docs/parsers/se-yandex-wordstat), в планах полная переработка данного парсера с добавлением нового функционала
• В SE::Yandex::ByImage (https://a-parser.com/docs/parsers/se-yandex-byimage) исправлен парсинг выдачи
• Исправлен парсинг имени пользователя в Telegram::GroupScraper (https://a-parser.com/docs/parsers/telegram-groupscraper)
• В SE::Google::ByImage (https://a-parser.com/docs/parsers/se-google-byimage) изменен набор собираемых данных и формат результата по-умолчанию, а также в целом исправлена его работа
• Исправлена работа парсеров Букварикс, но из-за высокой нагрузки на их API данные парсеры могут не работать
• Исправлен парсинг сниппетов в SE::Google::ByImage (https://a-parser.com/docs/parsers/se-google-byimage)
• SE::Google::TrustCheck (https://a-parser.com/docs/parsers/se-google-trustcheck), Check::RosKomNadzor (https://a-parser.com/docs/parsers/check-roskomnadzor), SE::DuckDuckGo (https://a-parser.com/docs/parsers/se-duckduckgo), SE::Seznam (https://a-parser.com/docs/parsers/se-seznam), Shop::Wildberries::ProductsList (https://a-parser.com/docs/parsers/shop-wildberries-productslist), SE::Baidu (https://a-parser.com/docs/parsers/se-baidu), SE::Google::Images (https://a-parser.com/docs/parsers/se-google-images), Rank::Ahrefs::KeywordGenerator (https://a-parser.com/docs/parsers/rank-ahrefs-keywordgenerator)

Исправления

• Исправлена ошибка в Shop::Wildberries::ProductsList (https://a-parser.com/docs/parsers/shop-wildberries-productslist), из-за которой с некоторыми запросами не выводился $totalcount
• Исправлена загрузка каптч в SE::Yandex::Images (https://a-parser.com/docs/parsers/se-yandex-images)
• Устранена утечка памяти в парсере DeepL::Translator (https://a-parser.com/docs/parsers/deepl-translator), а также другие ошибки
• Исправлена работа проксичекера с socks5 IPv6 прокси
• Исправлена работа опции Don't verify TLS certs в некоторых случаях
• Устранена утечка памяти при частом запуске заданий или использовании API, утечка была связана с внутренним багом NodeJS
• Исправлено зависание Тестового парсинга при редактировании кода парсеров
• Исправлен проход по редиректам в HTML::LinkExtractor (https://a-parser.com/docs/parsers/html-linkextractor)
• Исправлен выбор домена в SE::Yahoo (https://a-parser.com/docs/parsers/se-yahoo)
• Исправлена заспамленость лога ошибками при использовании Maps::Yandex (https://a-parser.com/docs/parsers/maps-yandex)
• Исправлен сбор результатов $records в Net::DNS (https://a-parser.com/docs/parsers/net-dns)
• Исправлена ошибка когда не находилась следующая страница опцией Check next page

– https://t.me/a_parser
– https://a-parser.com/pages/affiliate/