|
|
Опции темы | Рейтинг: | Опции просмотра |
|
13.06.2020, 06:46 | #1 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 204
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
|
1.2.912 - обновление NodeJS, повышение производительности, адаптация к изменениям в рекаптчах(https://a-parser.com/threads/6231/)
Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster. Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер Rank::CMS (https://a-parser.com/wiki/rank-cms/) был полностью переписан и стабилизирован, добавлена поддержка нового формата apps.json и поддержка пользовательских правил. Улучшения
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ |
24.06.2020, 09:15 | #2 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 204
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
|
Сборник рецептов #42: поиск битых ссылок, сервисы статистики и коммерциализация запросов(https://a-parser.com/threads/6261/)
Представляем 42-й сборник рецептов, в котором собраны парсеры для определения наличия на сайте битых ссылок, сбора данных об используемых сервисах статистики и определения коммерциализации ключевых слов. Парсер Ahrefs::BrokenLink (https://a-parser.com/resources/400/) Ahrefs Broken Link Checker - это сервис, позволяющий определить наличие битых ссылок на сайте, а также некоторую другую полезную информацию. Парсер builtwith.com (https://a-parser.com/resources/401/) Этот парсер собирает данные об используемых на сайтах сервисах статистики с ресурса BuiltWith. С его помощью можно получить список id используемых сервисов статистики, а также список других сайтов, на которых используются эти же id. Определение коммерциализации запроса (https://a-parser.com/resources/399/) Способ определения степени коммерциализации ключевых слов, основанный на анализе поисковой выдачи Яндекса. Оценивается количество вхождений определенного списка слов в анкорах и сниппетах ТОП10 выдачи. Кроме этого:
Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser). – https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ |
08.07.2020, 03:09 | #3 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 204
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
|
Видео урок: где смотреть переменные, скрытые переменные и какой результат они выводят (примеры)(https://a-parser.com/threads/6288/)
В этом видео рассмотрели где смотреть переменные, какие бывают скрытые переменные и какой результат они выводят на примерах. Содержание видео: 00:20 - 1. Где смотреть какие у парсера есть переменные? 1:16 - 2. Какие бывают скрытые переменные ($query.*, $root и т.п.)? 1:22 - переменная root 2:08 - переменная root объект 3:14 - переменная query.orig 4:04 - переменная query.first 5:24 - переменная query.lvl 5:50 - переменная query.prev 6:20 - переменная query.num Все возможные методы TT для работы с обьектами (http://www.template-toolkit.org/docs/manual/VMethods.html#section_Hash_Virtual_Methods) Форматирование запросов (шаблоны) (https://a-parser.com/wiki/query-format/) Оставляйте комментарии и подписывайтесь на наш канал на YouTube! (https://www.youtube.com/c/AParser_channel) – https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ |
17.07.2020, 22:00 | #4 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 204
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
|
1.2.948 - новые парсеры SecurityTrails IP и Domain, поддержка доменных прокси, множество исправлений(https://a-parser.com/threads/6312/)
Улучшения
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ |
03.08.2020, 12:48 | #5 |
Пользователь
Регистрация: 03.08.2020
Сообщений: 2
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
|
Подскажите, пожалуйста, есть ли возможность взять парсер на тест?
|
25.08.2020, 18:29 | #6 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 204
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
|
|
25.08.2020, 18:31 | #7 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 204
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
|
Сборник статей #12: скорость работы парсеров, debug режим и работа с куками(https://a-parser.com/threads/6371/)
В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками. Скорость и принцип работы парсеров (https://a-parser.com/resources/404/) В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга. Использование Debug режима (https://a-parser.com/resources/405/) В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные. Работа с куками и заголовками на примере соглашения с правилами сайта auto.ru (https://a-parser.com/resources/406/) А в этой статье на реальном примере показана работа с куками сайта: рассказано как определять необходимость передавать куки и как искать только необходимые для запроса куки. При этом показаны два варианта: простые запросы средствами А-Парсера и использование NodeJS модуля puppeteer. Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки [img]styles/default/xenforo/clear.png[/img] ) - отписывайтесь здесь (https://a-parser.com/threads/3464/). Подписывайтесь на наш канал на Youtube (http://www.youtube.com/c/AParser_channel) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser). – https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ |
13.09.2020, 10:05 | #8 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 204
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
|
Видео урок: просмотр результатов парсинга, настройка прокси с авторизацией, опция Extra query string(https://a-parser.com/threads/6402/)
В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера
– https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ |
23.09.2020, 09:35 | #9 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 204
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
|
Сборник рецептов #43: освобождающиеся домены, категории сайтов и парсинг PDF(https://a-parser.com/threads/6418/)
43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов. Аукцион доменов REG.RU (https://a-parser.com/resources/403/) Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову. Определение категорий сайта (https://a-parser.com/resources/409/) Парсер, собирающий категории сайтов из MegaIndex. Парсинг PDF (https://a-parser.com/resources/407/) Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse. Кроме этого:
Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter. – https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ |
24.10.2020, 01:54 | #10 |
Пользователь
Регистрация: 01.12.2016
Сообщений: 204
Вы сказали Спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
|
Сборник рецептов #44: категории сайтов от Cloudflare Radar, парсер Rozetka и kufar.by(https://a-parser.com/threads/6471/)
44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов. Парсер Cloudflare Radar (https://a-parser.com/resources/411/) Парсер для сбора категорий сайтов из Cloudflare Radar Rozetka - получение данных по API (https://a-parser.com/resources/412/) Парсер, собирающий данные о товарах на торговой площадке Rozetka через API. Парсинг объявлений kufar.by (https://a-parser.com/resources/410/) Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов. А также, обновлены следующие ресурсы:
Предлагайте ваши идеи для новых парсеров здесь (https://a-parser.com/threads/3464/), лучшие будут реализованы и опубликованы. Подписывайтесь на наш канал на Youtube (https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw) - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter (https://twitter.com/a_parser). – https://telegram.me/joinchat/B52bKz_xVDH2GDiEU1MPsQ |