Duff89
Долгое выполнение и зависания, если включен парсинг запросов
запускаю в Windows 10 через parser_cls.py (файл настройки один и тот же, единственное отличие в версии 3.1.06 добавлена опция скачивания количества просмотров) настройки прокси одинаковые
Вот настройки (убраны ссылки и прокси): [avito] tg_token = "" tg_chat_id = [] urls = [ ] count = 98 keys_word_white_list = [] keys_word_black_list = [] seller_black_list = [] max_price = 9999999999 min_price = 0 geo = "" proxy_string = "11111111111111111" proxy_change_url = "2222222222222222" pause_general = 30 pause_between_links = 5 max_age = 0 max_count_of_retry = 10 ignore_reserv = false ignore_promotion = false one_time_start = true one_file_for_link = false parse_views = true
версия 3.1.04 отрабатывает за 30 минут (ошибок практически не выдаёт) версия 3.1.06 по 12 и более часов, наблюдаются множественные ошибки, зависания (на скрине указаны), если в окне нажать enter продолжается выполнение скрипта. приложил логи (лог выполнения не до финала - ещё один цикл не закончен, уже 12 часов идёт)
@uka1992 С включенными просмотрами будет выполнятся гораздо дольше - пока ничего интересного с этим не придумать. Чтобы получить кол-во просмотров нужно отправить отдельный запрос на каждое объявление. Для примера давайте посчитаем сколько запросов нужно совершить в каждом из случаев (будем считать вообще без блокировок):
- Без просмотров: просто 98 просмотров
- С просмотрами: 98 + (98х50)= 4998. Разница в 51 раз, а т.к. блокировки никто не отменял, то разница выходит вообще существенная
А если первичный (ранее ничего не парсилось) запуск 3.1.04 то так же быстро всё было, если я не ошибаюсь.
А если первичный (ранее ничего не парсилось) запуск 3.1.04 то так же быстро всё было, если я не ошибаюсь.
Не понял)
а зависания с чем связаны?
Чёрт его знает, я же тоже по логам смотрю
Если делаю первичный запуск 3.1.04 то он так же быстро всё парсит (он так же как при парсинге просмотров все страницы скачивает).
Предварительный диагноз - не хватило памяти, сам столкнулся с таким на сервере. Виновник - Playwright. В следующей версии сделаю фикс