interlark
Удаление обработанных ссылок
Иногда парсер падает в ошибку . И в принципе не понятно какие ссылки уже готовы какие нет . Было бы круто если обработанные ссылки удалялись из списка. И результат сохранялся . Таким образом если даже парсер упал, то можно продолжить далее.
Любопытства ради, интересно узнать какие вы встречали ошибки?
В принципе, я понимаю этот момент и смысл в нём есть. Возможно, в следующей версии добавлю.
Ошибки парсера json. К сожалению не сохранил. Иначе добавил бы. Хорошо проявляется если в 2гис ходить с буржуйский ВПН
13:45:53.238 | Парсинг [5954] > Quality Connect General Trading
13:45:57.914 | Парсинг ссылки завершён.
13:45:57.914 | Ошибка во время работы парсера. Traceback (most recent call last): File "parser_2gis\gui\app.py", line 83, in run File "parser_2gis\parser\parser.py", line 200, in parse_url File "parser_2gis\common.py", line 58, in inner File "parser_2gis\chrome\remote.py", line 272, in get_response_body File "json_init_.py", line 346, in loads File "json\decoder.py", line 337, in decode File "json\decoder.py", line 355, in raw_decode json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
Кстати вот как раз словил.
Хм, ок. Парсер вряд ли будет работать с нероссийских IP, это я узнал когда стал пускать тесты c раннерами в US - длительные тесты не проходили, т.к. антибот у 2GIS всячески боролся с подобной активностью. А с тестами из России всё работало на ура с любыми объемами и времязатратами.
Подобная ошибка странная и я её не учёл. Видимо, существует вероятность, что API endpoint 2GIS на обычный запрос может отдать невалидный или пустой документ, что вряд ли непредусмотренно документацией.
Эта ошибка получена с учётом использования российского или иностранного IP?
В v0.1.6 исправлена обработка ответа сервера, который, оказывается, может выдать некорретный ответ.
Возможность удаления успешно завершённых ссылок из списка редактора ссылок в обработке.
Спасибо ! Запустил проверку с российским IP. Есть еще странная ошибка . "Работа браузера прекращена". Но когда ее снова словлю отпишу в отдельную ошибку.