Показать сообщение отдельно
Старый 22.12.2020, 18:57   #121
A-Parser Support
Пользователь
 
Аватар для A-Parser Support
 
Регистрация: 01.12.2016
Сообщений: 198
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

1.2.1076 - 3 новых парсера, завершение перехода на Node.js, интеграция puppeteer в сборку(https://a-parser.com/threads/6566/)


Улучшения
  • В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
    • Net::HTTP (https://a-parser.com/wiki/net-http/)
    • HTML::LinkExtractor (https://a-parser.com/wiki/html-linkextractor/)
    • HTML::TextExtractor (https://a-parser.com/wiki/html-textextractor/)
    • HTML::TextExtractor::LangDetect (https://a-parser.com/wiki/html-textextractor-langdetect/)
    • Check::BackLink (https://a-parser.com/wiki/check-backlink/)
  • Основные улучшения от перевода данных парсеров на Node.js:
    • увеличение производительности в ~1.5 раза
    • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
  • Добавлены новые парсеры:
    • DeepL::Translator (https://a-parser.com/wiki/deepl-translator/)
    • Rank::Ahrefs::KeywordDifficulty (https://a-parser.com/wiki/rank-ahrefs-keyworddifficulty/)
    • Rank::Ahrefs::KeywordGenerator (https://a-parser.com/wiki/rank-ahrefs-keywordgenerator/)
  • В HTML::EmailExtractor (https://a-parser.com/wiki/html-emailextractor/) добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
  • В SE::Google::Translate (https://a-parser.com/wiki/se-google-translate/) добавлены новые переменные:
    • $translit_orig - оригинальный текст транслитом
    • $translit_translated - переведенный текст транслитом
    • $variants.$i.text - список вариантов перевода оригинального текста
  • В SE::Bing (https://a-parser.com/wiki/se-bing/) обновлен список регионов и языков
  • В Social::Instagram::Profile (https://a-parser.com/wiki/social-instagram-profile/) и Social::Instagram::Post (https://a-parser.com/wiki/social-instagram-post/) добавлена возможность собирать кол-во видеопросмотров
  • В SE::Yandex::Translate (https://a-parser.com/wiki/se-yandex-translate/) добавлена возможность отключать использование сессий
  • В Net::HTTP (https://a-parser.com/wiki/net-http/) добавлена возможность указывать user-agent для Chrome
  • В парсере Rank::MOZ (https://a-parser.com/wiki/rank-moz/) исправлена ошибка, возникающая при вызове парсера из JS методом this.parser.request().
  • В Rank::CMS (https://a-parser.com/wiki/rank-cms/) добавлена поддержка нового apps.json и возможность использовать Net::HTTP (https://a-parser.com/wiki/net-http/)
  • В Net::Whois (https://a-parser.com/wiki/net-whois/) обновлена поддержка всех зон
  • Для проксичекеров добавлена опция Exclude from "All", а также сделаны изменения в логике:
    • "All" - использует все прокси выбранные для задании
    • конкретный проксичекер - использует его, даже если он не выбран в задании
  • Добавлена поддержка устаревших версий SSL
  • JS парсеры: Добавлена опция tlsOpts для this.request(), позволяет передавать настройки для https соединений
  • JS парсеры: обновление Node.js с 14.2.0 до 14.15.0
  • JS парсеры: модуль puppeteer включен в сборку А-Парсера и не требует отдельной установки
Исправления в связи с изменениями в выдаче
  • Множество различных исправлений в SE::Google (https://a-parser.com/wiki/se-google/) и SE::Yandex (https://a-parser.com/wiki/se-yandex/) в связи с изменениями в выдаче
  • В SE::Yandex (https://a-parser.com/wiki/se-yandex/) удалена функция автораспознавания каптч в связи с изменением вида каптч
  • Исправлена работа SE::Google::Translate (https://a-parser.com/wiki/se-google-translate/)
  • В HTML::EmailExtractor (https://a-parser.com/wiki/html-emailextractor/) исправлена ошибка, при которой пропускались большие блоки html
  • Исправлена ошибка в Social::Instagram::profile (https://a-parser.com/wiki/social-instagram-profile/) из-за которой не парсилось больше одной страницы
  • Исправлена авторизация в SE::Google::KeywordPlanner (https://a-parser.com/wiki/se-google-keywordplanner/)
  • В SE::Google::TrustCheck (https://a-parser.com/wiki/se-google-trustcheck/) исправлено определение горизонтальных блоков ссылок
  • В SE::Baidu (https://a-parser.com/wiki/se-baidu/) исправлен парсинг related keywords
  • В Shop::Amazon (https://a-parser.com/wiki/shop-amazon/) исправлен сбор продавцов, а также исправлена ошибка, связанная с количество страниц
  • Исправлен Rank::Linkpad (https://a-parser.com/wiki/rank-linkpad/), а также в нем удалена переменная $links_cost, т.к. этого показателя больше нет на источнике
  • В Rank::Social::Signal (https://a-parser.com/wiki/rank-social-signal/) в связи с неактуальностью удалена переменная $googleplus_like
  • В Rank::CMS (https://a-parser.com/wiki/rank-cms/) исправлено определение по признакам скриптов для нового apps.json
  • Также адаптированы к изменениям в выдаче: SE::Yandex::Translate (https://a-parser.com/wiki/se-yandex-translate/), SE::MailRu (https://a-parser.com/wiki/se-mailru/), Rank::MajesticSEO (https://a-parser.com/wiki/rank-majesticseo/), SE::Yandex::Direct (https://a-parser.com/wiki/se-yandex-direct/), SE::Google::ByImage (https://a-parser.com/wiki/se-google-byimage/), Rank::Ahrefs (https://a-parser.com/wiki/rank-ahrefs/), Shop::eBay (https://a-parser.com/wiki/shop-ebay/), SE::Yandex::Register (https://a-parser.com/wiki/se-yandex-register/), SE::Seznam (https://a-parser.com/wiki/se-seznam/), Shop::Yandex::Market (https://a-parser.com/wiki/shop-yandex-market/), SE::Dogpile (https://a-parser.com/wiki/se-dogpile/), SE::Dogpile::Images (https://a-parser.com/wiki/se-dogpile-images/), SE::Startpage (https://a-parser.com/wiki/se-startpage/), SE::Baidu (https://a-parser.com/wiki/se-baidu/), Shop::AliExpress (https://a-parser.com/wiki/shop-aliexpress/), SE::Youtube (https://a-parser.com/wiki/se-youtube/), Rank::Social::Signal (https://a-parser.com/wiki/rank-social-signal/), SE::Yandex::SQI (https://a-parser.com/wiki/se-yandex-sqi/), SecurityTrails::Domain (https://a-parser.com/wiki/securitytrails-domain/)
Исправления
  • В SE::Yandex (https://a-parser.com/wiki/se-yandex/) исправлена работа Extra query string
  • Исправлено регулярное выражение в HTML::EmailExtractor (https://a-parser.com/wiki/html-emailextractor/) для устранения ошибок в некоторых случаях
  • Исправлено поведение парсера SE::Google::KeywordPlanner (https://a-parser.com/wiki/se-google-keywordplanner/) при отсутствии результатов по запросу
  • Maps::Yandex (https://a-parser.com/wiki/maps-yandex/) исправлен и переведен на puppeteer
  • Исправлена ошибка в приоритетах выбора проксичекера
  • JS парсеры: исправлен follow_meta_refresh
  • API: исправлена работа параметра rawResults

– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ
A-Parser Support вне форума   Ответить с цитированием