A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

[A-Parser Support]

[URL="https://a-parser.com/threads/3716/"]Видео урок по созданию парсера на языке JavaScript[/URL]

Задача: Оценить страницу сайта на предмет тематики, рассчитать плотность ключевых слов на странице сайта и упорядочить результат по убыванию плотности ключевых слов.

[url]https://

[A-Parser Support]

[URL="https://a-parser.com/threads/3752/"]1.1.918 - улучшена работа с override и отдельные append/preppend text для каждого файла[/URL]



Улучшения

• Изменена работа с override: устранена возможность их дублирования, а также улучшен выбор и добавление настроек в пресет в один клик
  
• Добавлена возможность для каждого файла результатов задавать индивидуальные Начальный/Конечный текст

Исправления в связи с изменениями в выдачи

• SE::Dogpile, Rank::MajesticSEO, SE::Google::Images, SE::Yandex

Исправления

• Исправлены падения при работе JS парсеров на Windows 10
• Исправлен баг с "белым экраном", который появился в предыдущей версии
• Парсер Rank::SimilarWeb удален в связи с требованием правообладателей
• Исправлен баг, при котором не срабатывал шаблон в Общем формате результата при пустом имени файла результата, появился в версии 1.1.896
• Исправлена работа с каптчей в SE::Google, при работе через IPv6 прокси

[A-Parser Support]

[URL="https://youtu.be/HFAbEDBEMj8"]Видео урок: Парсинг пользователей ВК, которые лайкнули определенный пост[/URL]

В этом уроке будет рассмотрен пример получения с помощью А-Парсер списка пользователей социальной сети Вконтакте, которые лайкнули выбранный пост. Такую информацию можно использовать для дальнейшего маркетинга, например, для рассылки сообщений только заинтересованным пользователям или проведения различных акций.



Урок включает в себя:

• Парсинг социальной сети Вконтакте после авторизации
• Отправка POST-запросов парсером и разбор результата
• Использование Cookies в парсинге

Готовый парсер можно взять в нашем каталоге пресетов: [URL="https://a-parser.com/resources/143/"]Получение списка пользователей, которые лайкнули пост в VK[/URL]

Оставляйте комментарии и [URL="https://www.youtube.com/c/AParser_channel"]подписывайтесь на наш канал на YouTube![/URL]

[A-Parser Support]

[url="https://a-parser.com/threads/3837/"]1.1.937 - 2 новых парсера, поддержка reCAPTCHA, возможность перевода интерфейса парсера[/url]



Улучшения:

• Добавлено 2 новых парсера:
  • GooglePlay::Apps - парсинг информации о приложениях из Google Play
  • SE::Yandex::Speller - проверка страниц на ошибки в тексте через Яндекс.Спеллер
• Добавлен функционал перевода интерфейса парсера на другие языки
• В тестовом режиме добавлена поддержка reCAPTCHA в SE::Google::Mobile, пока поддерживается только сервис anti-captcha.com
• Улучшен парсинг Google на паблик прокси
• Уменьшена частота появления каптч, убран лимит страниц и добавлена поддержка антигейта в Shop::Yandex::Market
• Добавлен выбор базы данных в Rank::SEMrush::Keyword
• В SE::Yandex:: Direct::Frequency улучшена обработка ошибок
• Обновлен список языков в SE::Bing::Translator

Исправления в связи с изменениями в выдачи

• В связи с прекращением поддержки со стороны Google, удален SE::Google::Fast
• SE:: Dogpile, Rank::MajesticSEO, SE:: DuckDuckGo, Shop::Amazon

Исправления

• Исправлен сбор картинок в HTML::EmailExtractor
• Исправлена работа Shop::Yandex::Market в некоторых случаях
• Исправлена работа с каптчей в SE::Yandex:: Direct::Frequency в редких случаях
• Исправлен парсинг данных о доменах .biz в Net::Whois
• Исправлена работа с экзотическими кодировками в Net::HTTP
• Исправлена работа с прокси в SE::Yandex
• Исправлена работа с кодировками в JS-парсерах

[A-Parser Support]

[url=https://a-parser.com/threads/3862/]Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов[/url]

18-й сборник рецептов. В нем мы будем смотреть как выглядят сайты сразу в нескольких браузерах, протестируем облегченную выдачу Яндекса и проверим сайты в Яндексы. Кроме этого в сборнике предоставлены парсер для проверки существования e-mail'ов и пресет для получения позиций сразу по нескольким регионам. Итак, поехали!

[URL=https://a-parser.com/resources/224/]Автоматизация тестирования сайтов в разных браузерах[/URL]
Наверное каждый разработчик сайтов сталкивается с вопросом тестирования своих наработок в различных браузерах. Можно конечно держать для этого несколько виртуальных машин, что далеко не совсем рационально. Можно собирать отзывы от пользователей, что негативно влияет на общее впечатление от сайта тех же пользователей. А можно воспользоваться специализированными сервисами. Например BrowserStack. А с помощью А-Парсера этот процесс можно еще и автоматизировать, если к примеру нужно сразу протестировать множество сайтов. Как это сделать - читайте по ссылке выше.



[URL=https://a-parser.com/resources/228/]Парсинг lite выдачи Яндекса[/URL]
Недавно на Хабре была опубликована статья о lite выдаче поиска Яндекса. Нам стало интересно, насколько такая выдача может быть полезной в сравнении с обычной с точки зрения парсинга. Мы с помощью функционала JS парсеров сделали новый парсер и сравнили его со стандартным. Как это было, что из этого вышло и какие получились выводы, а также готовый парсер lite выдачи Яндекса - по ссылке выше.



[URL=https://a-parser.com/resources/229/]Проверка сайта в Яндекс[/URL]
Поисковую выдачу Яндекса можно использовать для решения самых разных задач. Одна из них - проверка сайтов на различные типы угроз. Яндекс отмечает такие сайты в выдаче специальными метками. С помощью A-Parser можно быстро проверить большие списки сайтов на наличие таких меток. Как это сделать - описано по ссылке выше.



Кроме этого:

• [URL=https://a-parser.com/resources/226/]JS::SE::Yandex::Position::ByRegion[/URL] - проверка позиции сайта в Яндексе сразу по нескольким регионам
• [URL=https://a-parser.com/resources/144/]JS::MailValidator[/URL] - проверка существования e-mail адресов

Еще больше различных рецептов в нашем обновленном [URL="https://a-parser.com/resources/"]Каталоге[/URL]!
Предлагайте ваши идеи для новых парсеров [URL=https://a-parser.com/threads/3464/]здесь[/URL], лучшие будут реализованы и опубликованы.

Подписывайтесь на [URL=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw]наш канал на Youtube[/URL] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [URL=https://twitter.com/a_parser]Twitter[/URL].

[URL=http://a-parser.com/threads/1250/]Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте[/URL]
[URL=http://a-parser.com/threads/1328/]Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов[/URL]
[URL=http://a-parser.com/threads/1660/]Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов[/URL]
[URL=http://a-parser.com/threads/1674/]Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы[/URL]
[URL=http://a-parser.com/threads/1705/]Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта[/URL]
[URL=http://a-parser.com/threads/1737/]Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
[/URL][URL=http://a-parser.com/threads/1778/]Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам[/URL]
[URL=http://a-parser.com/threads/1809/]Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube[/URL]
[URL=http://a-parser.com/threads/1830/]Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность[/URL]
[URL=http://a-parser.com/threads/1881/]Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий[/URL]
[URL=http://a-parser.com/threads/1938/]Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции![/URL]
[URL=http://a-parser.com/threads/2240/]Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок[/URL]
[URL=http://a-parser.com/threads/2460/]Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query[/URL]
[URL=http://a-parser.com/threads/2613/]Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты[/URL]
[URL=http://a-parser.com/threads/2712/]Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu[/URL]
[URL=https://a-parser.com/threads/2808/]Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей[/URL]
[URL=https://a-parser.com/threads/3544/]Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК[/URL]

[A-Parser Support]

[URL="https://a-parser.com/threads/3888/"]Прием оплаты криптовалютами (Bitcoin и т.п.)[/URL]

После отключения приема Интеркассой биткоинов, мы добавили собственную возможность оплаты в личном кабинете различными криптовалютами. Поддерживаются Bitcoin, BCH, LTC, ETH и другие альткоины.


Для того чтобы сделать оплату, достаточно выбрать в личном кабинете соответствующий способ:


И проследовать дальнейшим инструкциям, выбрав нужную криптовалюту.

Оставляйте комментарии и подписывайтесь на [URL="https://www.youtube.com/c/AParser_channel"]наш канал на YouTube[/URL]!

[A-Parser Support]

[URL=https://a-parser.com/threads/3910/]Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress[/URL]

19-й сборник рецептов. В нем мы будем постить сообщения в блоги Wordpress, парсить Chrome Webstore и AliExpress. Поехали!

[URL=https://a-parser.com/resources/232/]Постинг сообщений в Wordpress блоги[/URL]
Как известно, А-Парсер - это многофункциональный парсер. И он настолько многофункционален, что может не только парсить, но и постить! О том, как это сделать, пойдет речь в этой статье. В качестве примера выбран один из самых популярных движков - Wordpress. Все подробности, а также готовый постер - по ссылке выше.



[URL=https://a-parser.com/resources/234/]Получение ссылок на плагины из Chrome Webstore[/URL]
Браузер Chrome является одним из самых популярных в мире. И в нем практически с самого начала существования есть поддержка расширений, которые доступны в специальном магазине. Данный магазин представляет собой обычный сайт, который, как и любые другие, можно парсить. Полученная информация может быть использована к примеру для создания собственного магазина расширений или парсинга текстовок. Детальнее о том, как создавать такие парсеры - в статье по ссылке выше.



[URL=https://a-parser.com/resources/213/]Парсер AliExpress[/URL]
AliExpress - это одна из крупнейших торговых онлайн площадок. Парсинг данных о товарах из алиэкспресс позволяет проводить сравнение цен, получать картинки и названия товаров. Готовый парсер JS::Shop::AliExpress доступен в нашем каталоге по ссылке выше.



Кроме этого:

• [URL=https://a-parser.com/resources/216/]Анализ скорости отклика страниц на сайте[/URL]
• [URL=https://a-parser.com/resources/215/]Скачивание файлов формата mp3[/URL]
• [URL=https://a-parser.com/resources/208/]Длина и объем текста[/URL]

Еще больше различных рецептов в нашем обновленном [URL=https://a-parser.com/resources/]Каталоге[/URL]!
Предлагайте ваши идеи для новых парсеров [URL=https://a-parser.com/threads/3464/]здесь[/URL], лучшие будут реализованы и опубликованы.

Подписывайтесь на [URL=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw]наш канал на Youtube[/URL] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [URL=https://twitter.com/a_parser]Twitter[/URL].

Предыдущие сборники:

• [URL=http://a-parser.com/threads/1250/]Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте[/URL]
• [URL=http://a-parser.com/threads/1328/]Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов[/URL]
• [URL=http://a-parser.com/threads/1660/]Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов[/URL]
• [URL=http://a-parser.com/threads/1674/]Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы[/URL]
• [URL=http://a-parser.com/threads/1705/]Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта[/URL]
• [URL=http://a-parser.com/threads/1737/]Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво[/URL]
• [URL=http://a-parser.com/threads/1778/]Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам[/URL]
• [URL=http://a-parser.com/threads/1809/]Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube[/URL]
• [URL=http://a-parser.com/threads/1830/]Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность[/URL]
• [URL=http://a-parser.com/threads/1881/]Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий[/URL]
• [URL=http://a-parser.com/threads/1938/]Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции![/URL]
• [URL=http://a-parser.com/threads/2240/]Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок[/URL]
• [URL=http://a-parser.com/threads/2460/]Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query[/URL]
• [URL=http://a-parser.com/threads/2613/]Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты[/URL]
• [URL=http://a-parser.com/threads/2712/]Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu[/URL]
• [URL=https://a-parser.com/threads/2808/]Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей[/URL]
• [URL=https://a-parser.com/threads/3544/]Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК[/URL]
• [URL=https://a-parser.com/threads/3862/]Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов[/URL]

[A-Parser Support]

1.2.0 - обновленный интерфейс и множество улучшений

Мы рады представить релиз A-Parser 1.2.0 - результат почти двухмесячной разработки на бета-канале!
Полностью обновленный интерфейс, переработан ряд парсеров, реализовано множество различных улучшений.



Новые парсеры

• [URL=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/URL] - теперь старая, новая и мобильная выдачи в одном парсере, а также поддержка работы с каптчами и рекаптчами
  
• [URL=https://a-parser.com/wiki/util-recaptcha2/]Util::ReCaptcha2[/URL] - распознавание Google ReCaptcha2 через популярные сервисы (anti-captcha, rucaptcha, CapMonster, а в скором будущем и xevil)

Улучшения

• Полностью обновлен интерфейс
• Добавлен статусбар, в котором выводится
  • статус парсера
  • количество работающих и всего заданий
  • количество живых и загруженных прокси
  • количество задействованных потоков
• Полностью изменен выбор файлов запросов. Теперь легко можно выбирать несколько файлов, а также папки целиком
• Реализована возможность получать JSON для API прямо в Редакторе заданий
• Добавлен поиск во всех списках
• Добавлена возможность сворачивания меню для увеличения рабочей области
• В Тестовом парсинге добавлена новая область быстрых настроек: отключение автоскрола и включение debug режима
• Добавлено предупреждение о риске затереть конфиг при обновлении через интерфейс
• Добавлена возможность включения форматирования больших чисел
• JS парсеры: добавлена опция use_proxy для this.request, которая позволяет переопределить использование прокси для отдельного запроса внутри JS парсера поверх глобального параметра Use proxy
• JS парсеры: this.util переименован в this.utils и добавлены новые функции
  
• JS парсеры: добавлена группировка в списке парсеров
• Изменена иконка приложения, а также иконки некоторых парсеров

Исправления

• Исправлена ситуация, когда оставались форматы запросов с предыдущего открытого задания
• Исправлен перевод запросов с кавычками в [URL=https://a-parser.com/wiki/se-yandex-translate/]SE::Yandex::Translate[/URL]
• Исправлен баг с сохранением переменных уникализации в некоторых случаях
• Исправлена ошибка в [URL=https://a-parser.com/wiki/se-google/]SE::Google[/URL] при работе со старой каптчей
  
• Исправлена ошибка при открытии лога (возникла в одной из предыдущих версий)
• Исправлена ошибка при удалении заданий (возникла в одной из предыдущих версий)

Исправления в связи с изменениями в выдачи

• В [URL=https://a-parser.com/wiki/se-google/]SE::Google[/URL] исправлена проблема с использованием всех попыток при получении каптчи
  
• [URL=https://a-parser.com/wiki/shop-amazon/]Shop::Amazon[/URL], [URL=https://a-parser.com/wiki/se-ask/]SE::Ask[/URL], [URL=https://a-parser.com/wiki/se-yandex/]SE::Yandex[/URL], [URL=https://a-parser.com/wiki/se-comcast/]SE::Comcast[/URL], [URL=https://a-parser.com/wiki/se-google-safebrowsing/]SE::Google::SafeBrowsing[/URL], [URL=https://a-parser.com/wiki/se-google-byimage/]SE::Google::ByImage[/URL], [URL=https://a-parser.com/wiki/shop-yandex-market/]Shop::Yandex::Market[/URL], [URL=https://a-parser.com/wiki/shop-yandex-market/]SE::Bing::Images[/URL], [URL=https://a-parser.com/wiki/se-aol/]SE::AOL[/URL], [URL=https://a-parser.com/wiki/se-ixquick/]SE::IxQuick[/URL], [URL=https://a-parser.com/wiki/rank-semrush-keyword/]Rank::Semrush::Keyword[/URL], [URL=https://a-parser.com/wiki/rank-majesticseo/]Rank::MajesticSEO[/URL]

Впереди у нас еще очень много планов, поэтому оставайтесь с нами и следите за новостями!

[A-Parser Support]

Мы начинаем публикацию статей об использовании A-Parser для решения различных задач.
В этом сборнике будет рассмотрено использование А-Парсера SEO-специалистами и маркетологами, а также описан реальный пользовательский опыт работы. Поехали!

[URL=https://a-parser.com/resources/242/]A-Parser для SEO специалиста[/URL]
В статье рассмотрена актуальность использования A-Parsera в работе SEO мастера. Определено место парсера в системе SEO оптимизации. На конкретных примерах продемонстрирована его практическая ценность.


[URL=https://a-parser.com/resources/243/]Интернет-маркетинг и A-Parser[/URL]
В статье рассмотрены понятия интернет-маркетинга и место в нем A-Parser. Актуализирован вопрос целесообразности использования парсера для интернет-маркетинга. Показаны практические примеры использования парсера в области интернет-маркетинга.


[URL=https://a-parser.com/threads/4005/]Как я пришел к покупке A-Parser в 2016 году![/URL]
Описание реального опыта использования парсера одним из наших пользователей. На примере одной из задач показан подход к ее решению и реальная финансовая выгода.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [URL=https://a-parser.com/threads/3464/]здесь[/URL].

Подписывайтесь на [URL=https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw]наш канал на Youtube[/URL] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [URL=https://twitter.com/a_parser]Twitter[/URL].

[A-Parser Support]

1.2.31 - x64 для Windows, обновление JS движка, улучшения работы с сохраненными заданиями

Улучшения

• Для Windows начат выпуск 64-битных сборок
• Переработан интерфейс выбора сохраненных заданий, теперь пресеты можно сортировать по папкам любой вложенности
  
  
• Реализована "ленивая" загрузка сохраненных пресетов
• В 64-битных windows/linux версиях обновлен JavaScript движок V8 до версии 6.3
• [URL=https://a-parser.com/wiki/se-bing-translator/]SE::Bing::Translator[/URL] полностью переписан, исправлена проблема, когда не переводился текст с html тегами и двойными кавычками, а также теперь переводятся большие тексты
• Добавлено автодополнение Provider url для CapMonster в [URL=https://a-parser.com/wiki/util-recaptcha2/]Util::ReCaptcha2[/URL]
• Добавлена возможность парсинга Cloudflare protected e-mails в [URL=https://a-parser.com/wiki/html-emailextractor/]HTML::EmailExtractor[/URL]
• Добавлена сортировка JS парсеров внутри папок
• Уведомление о новой версии перенесено в статусбар
• Улучшена плавность при просмотре логов в Тестовом парсинге

Исправления в связи с изменениями в выдачи

• Исправлена ошибка, когда выдавалась одинаковая выдача для всех страниц в [URL=https://a-parser.com/wiki/se-bing/]SE::Bing[/URL]
• [URL=https://a-parser.com/wiki/se-duckduckgo/] SE:: DuckDuckGo [/URL], [URL=https://a-parser.com/wiki/se-aol/]SE::AOL[/URL], [URL=https://a-parser.com/wiki/se-yandex-images/]SE::Yandex::Images[/URL], [URL=https://a-parser.com/wiki/se-google-modern/]SE::Google::Modern[/URL], [URL=https://a-parser.com/wiki/se-bing/]SE::Bing[/URL]

Исправления

• Исправлен баг, при котором список пресетов антигейта не обновлялся после создания нового
• Исправлены падения парсера при использовании удаленного пресета антигейта
• Исправлена работа через API при вызове сохраненного задания
• Исправлена ошибка с $followlinks в [URL=https://a-parser.com/wiki/html-linkextractor/]HTML::LinkExtractor[/URL]
• Исправлено определение кодировки на некоторых сайтах
• Исправлен подсчет неудачных запросов в некоторых случаях
• Исправлена ошибка с Custom template в фильтрах
• Исправлена работа кнопки Обновить в логах
• Исправлена ошибка Can't call method "Parser::HTML::Util::urlFromHTML", возникшая в одной из предыдущих версий
• Исправлены зависания при использовании уникализации в некоторых случаях
• Исправлена проверка обновлений после смены канала