Авито Парсер Zennoposter Шаблон

Группа шаблонов Авито Zennoposter шаблон

Универсальный парсер объявлений на avito.ru ,  собирает ссылки , контент, и размещенные фотографии в объявлениях. Возможен переход в необходимый раздел объявлений по прямой ссылкие или по указанным критериям поиска. Так же есть черный список и список исключений.

Состоит из двух шаблонов:
1. Avito Link Parser

2. Avito Ads Parser

Avito Link Parser

Парсер ссылок на объявления – автоматически собирает ссылки на все опубликованные объявления по заданным критериям поиска или по прямой ссылке.

Порядок Запуска:

Количество выполнений: -1 (или по числу строк в файле Data.xlsx)

Максимальное число потоков: Неограниченно

Входные Данные:

Link.txt

Файл со списком ссылок для прямого перехода к списку объявлений.

Записываются построчно. Берутся с удалением.

Data.xlsx

Файл с данными для фильтра поиска.

Первая строка заголовки.

Столбцы:

А—Город\Область

В—Категория объявлений.

Укзаывая основные разделы категорий, такие как: Транспорт;Недвижимость;Работа;Услуги;Личные вещи;Для дома и дачи;Бытовая электроника;Хобби и отдых;Животные;Для бизнеса-- будет происходить сбор ссылок со всего раздела.

Для более детального парсинга есть подкатегории, например:

Нужны ссылки на транспорт:

1. В-Новые автомобили

   С-LADA

2. В-Грузовики и спецтехника

   С-Грузовики

Нужны ссылки на недвижимость:

1. В-Квартиры

   С-Сдам

2. В-Земельные участки

   С-Сдам

С—Подкатегория. В этом столбце указывается подкатегория объявлений.

 Не обязательна к заполнению.

ВНИМАНИЕ! При необходимости заполнения, данные записываются в точности как на сайте.

D-Вид объявлений.(Все,Частные,Агенства)

Е-Только с фото(Да,Нет)

Данные берутся с удалением.

Black List.txt

Файл со списком объявлений, данные с которых уже были спарсены. При повторных запусках программа производит сравнение новых данных со списком, избегая не желательные объявления.

Выходные данные:

Папка  Links:

Создаются файлы с именем критериев поиска, с ссылками на объявдения.
Если по указанным критериям поиска объявлений нет, будет создан пустой файл, который будет удален следующим шаблоном.

Log.txt

В данный файл записывается последняя критическая ошибка, возникшая в шаблоне.

При обращении в тех поддержку обязательно высылайте его содержимое.

Входные настройки Zennoposter шаблона:

1. Путь к папке проекта.

2. Выбор файла, из которого будут использоваться прокси (в случае, если прокси будут использоваться из проксичекера, или не будут использоваться вообще, переменную оставить пустой).

3. Выбор порядка действий при поиске объявлений.

4. Дописывать данные в конец файла. При включенной опции,  данные Data.xlsx  или Link.txt  будут дописываться обратно.

5. Время размещенных объявлений. Выбор, за какой период будут собираться ссылки на объявления( Сегодня, Вчера и сегодня, За все время).

Avito Ads Parser

Парсер объявлений – автоматически собирает все данные по опубликованным объявлениям.

Порядок Запуска:

Количество выполнений: -1

Максимальное число потоков: Неограниченно

Входные Данные:

Исключения.txt

Файл, в котором указываются все исключения для парсинга.

Указываются телефоны организаций, чьи объявления собирать не нужно в том  виде, в котором изображены на сайте,

так же здесь возможно указать  заголовок не желательного объявления, ключевые слова которые могут попадаться в текстах нежелательных объявлений.

Каждый кретерий(заголовок, номер,ключ-слово)  записывается  построчно(т.е. в каждой новой строке).

Папка  Links:

Файлы с именем критериев поиска, с ссылками на объявдения .

Выходные данные:

Result

Папка, в которую записываются все результаты парсинга объявлений.

В файлы формата .csv с именем критерия поиска, записываются такие данные как:

Ссылка на объявление, город, имя продавца, название компании(если выбран парсинг по агенствам), телефон, цена, заголовок, описание, имя папки в которую были загружены фотографии из объявления(если есть).

Photo

Папка в которую  загружаются  фотографи  из  объявлений.

Black List.txt

Файл со списком ссылок обработанных объявлений. В дальнейшем шаблон производит проверку новых ссылок со старыми, избегая повторений.
Данный файл, со временем,  может достигать больших размеров. Периодически его нужно будет подчищать вручную.

Log.txt

В данный файл записывается последняя критическая ошибка, возникшая в шаблоне.

При обращении в тех поддержку обязательно высылайте его содержимое.

В случае бана ИП, происходит возврат ссылок на объявления.

Входные настройки Zennoposter шаблона:

1. Путь к папке проекта.

2. Выбор файла, из которого будут использоваться прокси (в случае, если прокси будут использоваться из проксичекера, или не будут использоваться вообще, переменную оставить пустой).