A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

[A-Parser Support]

Сборник рецептов #30: оценка страниц, форматирование дат и парсинг дропов(https://a-parser.com/threads/5197/)
30-й сборник рецептов, в котором опубликован пресет для оценки сайтов с помощью open source инструмента Lighthouse, рассмотрен способ форматирования дат в парсере SE::Google::Trends SE::Google::Trends, а также показан способ поиска удаленных доменов. Поехали!

Оценка страниц с использованием Lighthouse
Еще один сервис по оценке сайтов, на этот раз от Google. С его помощью можно оценить веб-страницу по 4-м критериям: Performance, Accessibility, Best Practices и SEO. Пресет доступен в нашем Каталоге по ссылке выше.


Форматирование даты в парсере SE::Google::Trends
В A-Parser есть парсер, который позволяет собирать данные из Google Trends. Но даты в этом парсере возвращаются в формате Unixtime, что немного усложняет анализ получаемых данных. По ссылке выше показан простой способ преобразования дат к более удобному виду.


Парсер expired domains
Пресет для поиска и сбора дропов, а также их характеристик с сайта expireddomains.net. В качестве запросов нужно указывать ключевые слова, которые должны быть в доменном имени.


Еще больше различных рецептов в нашем Каталоге(https://a-parser.com/resources/)!
Подписывайтесь на наш канал на Youtube(https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(https://twitter.com/a_parser).

[A-Parser Support]

[URL=https://a-parser.com/threads/5230/]1.2.434 - множество улучшений и новых возможностей в парсерах, оптимизация работы, поддержка SOCKS4[/URL]

Улучшения

• В [URL=https://a-parser.com/wiki/se-yandex/]SE::Yandex[/URL] добавлен парсинг значков
• В [URL=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/URL] добавлена опция Disable autocorrect, которая позволяет отключить автоисправление Гугла и парсить выдачу именно по указанному запросу
• В [URL=https://a-parser.com/wiki/se-yahoo/]SE::Yahoo[/URL] добавлен выбор страны, языка и Safe Search, обновлен список доменов
• В [URL=https://a-parser.com/wiki/net-dns/]Net:: DNS[/URL] добавлена возможность выводить записи любого типа
• В [URL=https://a-parser.com/wiki/rank-majesticseo/]Rank::MajesticSEO[/URL] добавлена проверка контента и поддержка сессий
• Значительно улучшен[URL=https://a-parser.com/wiki/se-google-suggest/]SE::Google::Suggest[/URL], добавлены новые возможности
• В [URL=https://a-parser.com/wiki/se-ixquick/]SE::IxQuick[/URL]добавлен параметр Family filter, позволяет выбрать уровень фильтрации
• В [URL=https://a-parser.com/wiki/shop-amazon/]Shop::Amazon[/URL] добавлена возможность парсить количество продавцов для каждого товара
• Теперь в [URL=https://a-parser.com/wiki/se-yandex/]SE::Yandex[/URL] при получении 404 кода ответа парсер будет повторять попытку, также улучшена проверка контента
• Теперь в[URL=https://a-parser.com/wiki/rank-semrush/]Rank::SEMrush[/URL] при получении 403 кода ответа прокси будет баниться
• Добавлена поддержка SOCKS4 прокси
• Оптимизирована загрузка и сохранение конфига и файлов заданий
• Улучшена скорость загрузки JS парсеров
• Уменьшено использование памяти в JS парсерах
• Улучшение производительности при использовании сокетов в JS парсерах

Исправления в связи с изменениями в выдаче

• В [URL=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/URL] исправлен парсинг анкоров
• В [URL=https://a-parser.com/wiki/se-yandex-images/]SE::Yandex::Images[/URL] парсинг начинался со 2-й страницы
• Исправлен парсинг ссылок в [URL=https://a-parser.com/wiki/se-baidu/]SE::Baidu[/URL]
• Исправлен парсинг countries в [URL=https://a-parser.com/wiki/rank-semrush-keyword/]Rank::SEMrush::Keyword[/URL]
• [URL=https://a-parser.com/wiki/se-duckduckgo/]SE:: DuckDuckGo[/URL], [URL=https://a-parser.com/wiki/se-duckduckgo-images/]SE:: DuckDuckGo::Images[/URL], [URL=https://a-parser.com/wiki/se-ixquick/]SE::IxQuick[/URL], [URL=https://a-parser.com/wiki/shop-amazon/]Shop::Amazon[/URL]

Исправления

• В [URL=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/URL] исправлена проблема, при которой запрос считается неудачным при использовании Parse not found
• Исправлена обработка пустой выдачи в [URL=https://a-parser.com/wiki/se-yandex/]SE::Yandex[/URL]
• Исправлена проблема, когда [URL=https://a-parser.com/wiki/se-duckduckgo/]SE:: DuckDuckGo[/URL] не парсил запросы в которых больше 1 слова
• JS парсеры: исправлена работа setTimeout на Windows
• Исправлен ряд ошибок, которые появились в процессе оптимизации парсера

[A-Parser Support]

Сборник статей #7: сохранение в xlsx, работа с API и обзор методов автоматизации()(https://a-parser.com/threads/5259/)
7-й сборник статей. В нем мы научимся сохранять результаты в виде Excel файлов, продолжим изучение работы через API, а также ознакомимся с 5-ю способами автоматизации последовательного выполнения нескольких заданий. Поехали!

Сохранение результатов в формате Excel (.xlsx)(https://a-parser.com/resources/325/)
Вывод результатов в виде xlsx файлов (стандартный формат Excel) - это очень популярный вопрос среди пользователей A-Parser. Ранее такой возможности не было, но с добавлением поддержки Node.js модулей это стало возможным. Поэтому мы публикуем статью, в которой показан реальный пример парсинга с сохранением в Excel. Ознакомиться со всеми подробностями можно по ссылке выше.


Работаем с API, часть 2(https://a-parser.com/resources/327/)
Это вторая часть из цикла статей по работе с A-Parser через API. В ней на примере парсинга e-mail будет рассмотрен метод addTask. Все детали - по ссылке выше.


Обзор вариантов последовательного выполнения нескольких заданий(https://a-parser.com/resources/326/)
Очень часто возникают задачи, решение которых требует использования возможностей сразу нескольких разных парсеров и при этом результаты работы одного нужно передавать в следующий. А-Парсер - это очень гибкий инструмент, поэтому существует сразу несколько способов, как автоматизировать последовательное выполнение нескольких заданий, при этом максимально автоматизируя работу и повышая производительность. Описание всех возможных методов читайте в обзоре по ссылке выше.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь(https://a-parser.com/threads/3464/).

Подписывайтесь на наш канал на Youtube(http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter(https://twitter.com/a_parser).

[A-Parser Support]

Вторая часть из цикла уроков о работе с API A-Parser. В видео на реальных примерах показана работа с методами addTask, getTaskState, getTaskConf и getTaskResultsFile.



В этом уроке рассмотрены:

• методы API для постановки длительных задач, а также для просмотра информации о задании
• составление JSON для используемых API запросов
• функция Получить API запрос
• демонстрация работы с API, используя Postman

Документация по API: https://a-parser.com/wiki/user-api/

Также рекомендуем статью с несколькими интересными кейсами использования A-Parser от руководителя оптимизаторов в «Ашманов и партнёры» Никиты Тарасова: https://vc.ru/seo/61162-pravilno-sobrat-semanticheskoe-yadro-dlya-prodvizheniya-sayta

Оставляйте комментарии и подписывайтесь на наш канал на YouTube(https://www.youtube.com/c/AParser_channel)!

[A-Parser Support]

1.2.455 - поддержка puppeteer, все методы в Net::HTTP, обновление Bypass Cloudflare(https://a-parser.com/threads/5295/)

Начиная с версии 1.2.455 мы начинаем официальную поддержку Node.JS модуля puppeteer - средства автоматизации работы с браузером Chrome(Chromium), благодаря чему возможен полноценный рендеринг DOM с поддержкой JS. В качестве примера мы выкладываем парсер, который делает скриншоты сайтов в формате PNG, доступен выбор размера скриншота. Chromium может быть запущен как на Windows, так и на Linux серверах без GUI.

• Пример парсера и более детальное описание(https://a-parser.com/resources/330/)
• Документация по puppeteer(https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md)

Улучшения

• SE::Bing::Images полностью переписан, добавлен сбор дополнительных данных, а также в настройках добавлен выбор региона и языка интерфейса
• В Net::HTTP добавлены все методы в настройки, а также реализована возможность переопределения через заголовок Method
• Добавлена возможность форматирования всех цифр в интерфейсе
• JS парсеры: в this.parser.request для override добавлена опция needData, которая определяет передавать или нет в ответе data/pages[], может использоваться для оптимизации
• JS парсеры: добавлена поддержка модулей url и ws

Исправления в связи с изменениями в выдаче

• Net::Whois - не всегда корректно обрабатывалась доменная зона com.br
• SE::Yandex, SE::Ask, SE:: DuckDuckGo, SE:: DuckDuckGo::Images, Rank::MajesticSEO

Исправления

• Исправлена работа функции Bypass Cloudflare в Net::HTTP
• Исправлена ошибка, из-за которой при определенных настройках не писался Начальный текст
• Исправлена работа некоторых socks4 прокси
• Исправлена ошибка в $tools.base64.encode() при работе с кириллическими символами
• В Shop::Amazon исправлена ошибка, при которой игнорировался домен
• JS парсеры: исправлена редкая ошибка в работе сокетов в Node.js

[A-Parser Support]

Сборник рецептов #31: скидка -50% на XEvil, скриншоты страниц, подсказки Я.Маркета и правописание(https://a-parser.com/threads/5314/)
31-й сборник рецептов. В нем будет показан способ создания скриншотов веб-страниц, парсинг подсказок Яндекс Маркета, а также проверка правописания в Google. Кроме этого, только до конца апреля доступна возможность купить XEvil со скидкой. Далее обо всем по порядку.

Скидка -50% на покупку XEvil для существующих и новых пользователей A-Parser
Для всех существующих и новых пользователей A-Parser действует скидка на покупку XEvil -50%!
XEvil - это простая, быстрая и удобная программа для полностью автоматического распознавания и обхода подавляющего числа капч и рекапч, без необходимости подключения каких-либо сторонних сервисов. Использование XEvil в связке с A-Parser позволяет значительно удешевить парсинг ресурсов, где необходимо разгадывать капчи/рекапчи, при этом практически не теряя в скорости.
Акция действует до конца апреля. Количество промокодов ограничено, поэтому не упустите возможность воспользоваться скидкой!
Для получения промокода на покупку XEvil пишите в тикеты.


JS::Chrome::ScreenshotsMaker
Возможность загружать страницы с полной обработкой всех скриптов, аналогично браузеру - это один из самых популярных фичреквестов для A-Parser. Поэтому буквально недавно была добавлена поддержка Node.js модуля puppeteer, с помощью которого теперь можно получать полностью отрендеренные страницы. И мы публикуем первый пример по работе с ним - парсер для создания скриншотов веб-страниц. Больше информации, пример работы и готовый парсер - все это доступно по ссылке выше.


Парсер подсказок Яндекс.Маркет
Еще один парсер подсказок, на этот раз из Яндекс Маркета. Собираются подсказки, их популярность (частота), тип, а также, опционально, категория (включая полный путь родительских категорий). Готовый парсер, как обычно, доступен в нашем Каталоге по ссылке выше.


Проверка правописания в Google
Данный парсер позволяет проверить ключевые слова через поиск Google на предмет опечаток и получить исправленные варианты. Готовый пресет доступен по ссылке выше.

[A-Parser Support]

Видео урок: Работа с MySQL
Видеоурок по работе с MySQL в A-Parser. В нем на реальном примере показано как работать с базами данных MySQL, используя Node.js модуль mysql2.



В этом уроке рассмотрены:

• Установка и подключение модулей
• Некоторые основы языка запросов SQL
• Создание базы данных MySQL
• Получение и запись данных в БД, используя JS-парсеры

Полезные ссылки:

• https://www.mysql.com/products/workbench/
• https://www.npmjs.com/package/mysql
• https://a-parser.com/resources/308

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!(https://www.youtube.com/c/AParser_channel)

[A-Parser Support]

Сборник рецептов #32: Yahoo Answers, контакты фрилансеров и оценка ключевых слов(https://a-parser.com/threads/5351/)

32-й сборник рецептов, в котором подобраны 3 JS парсера для парсинга Yahoo Answers, оценки ключевых слов и сбора контактных данных фрилансеров.

Парсер Yahoo Answers
Полноценный парсер сервиса Yahoo Answers, который по ключевым словам позволяет собирать непосредственно вопросы, ответы, а также их категории, дату создания и ссылки на страницы обсуждений.


Парсинг контактов фрилансеров
Парсер, который ищет по ключевым словам фрилансеров и собирает их контакты. Данные собираются с сервиса fl.ru.


Анализ ключевых слов
Парсер для сервиса seranking.com. Кейворды оцениваются по 4-м показателям: частотность, стоимость клика (CPC), стоимость трафика и KEI. Также есть возможность собирать похожие, релевантные и подсказки к начальному запросу вместе с их показателями.


Еще больше различных рецептов в нашем Каталоге!

[A-Parser Support]

1.2.484 - 4 новых парсера, улучшение работы и исправление существующих(https://a-parser.com/threads/5367/)

Улучшения

• Новые парсеры:
  • Maps::Googl - по ключевым словам собирает различные данные об организациях в заданных координатах
  • Maps::Yandex - по ключевым словам собирает различные данные об организациях в заданных координатах
  • Rank::Bukvarix:: Domain - сбор ключевых слов по домену
  • Rank::Bukvarix::Keyword - сбор ключевых слов по домену
• Удалены 4 неактуальных парсера: Rank::SEMrush::Keyword, SE::QIP, SE::QIP::Position, Rank::MegaIndex
• Улучшена работа SE::AO
• JS парсеры: для this.request добавлена опция data_as_buffer, которая определяет возвращать data как строку(String) или объект Buffer

Исправления в связи с изменениями в выдаче

• В SE::Google::Modern исправлена работа с рекаптчами, исправлен парсинг сниппетов, а также исправлен парсинг мобильной выдачи
• Rank::SEMrush полностью переписан, также полностью изменился список собираемых данных, парсер возвращает только те данные, которые доступны без авторизации
• Полностью переписан Rank::Alexa
• Исправлена работа Rank::MajesticSEO, теперь обязательно требуется установка Node.js и модуля brotli
• В Rank::Social::Signal удалена переменная $facebook_share в связи с прекращением поддержки со стороны FB
• SE::IxQuick, Shop::AliExpress, SE:: DuckDuckGo::Images , Shop::Amazon, Check::RosKomNadzor

Исправления

• Исправлена работа с запросами, содержащими пробел в SE:: DuckDuckGo
• Исправлена проблема с декомпресией данных на некоторых сайтах
• JS парсеры: исправлена работа setImmediate

[A-Parser Support]

Видео урок: Получение уведомлений в Telegram об окончании срока регистрации доменов
В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.

В уроке рассмотрено:

• использование tools.js для написания собственных функций
• работа с шаблонизатором Template Toolkit
• проверка доменов через WHOIS
• цепочки заданий
• отправка сообщений в Telegram с помощью бота

Полезные ссылки:

• https://a-parser.com/threads/4316/ - статья о создании бота и группы для получения уведомлений в Telegram
• https://a-parser.com/resources/304/ - видеоурок по созданию Телеграм канала на базе A-Parser
• https://a-parser.com/resources/287/ - готовые для импорта пресеты
• https://core.telegram.org/bots/api - документация по Telegram Bot API

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!


https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ