interlark
Крашится парсинг
При парсинге с одной url более 2.5k точек появляется зависание и падает вкладка парсинга с сообщением "oops.." (иногда пишется out of memory). Тестировал на разных устройствах win/mac, но всегда отваливается на 2300 +-200 точек.
В параметрах указываю:
С чем это может быть связано?
Связано с переполнением RAM, нужно перезапускать парсер и продолжать работу с последней успешно собранной страницы. Руки не доходят сделать в виду отсутствия свободного времени, а пул реквестов на ревью никто ещё не присылал.
@andbaish, какой URL?
Ваш парсер может максимально 10 000 парсить так как после 845 страницы 2гис не предоставляет данные.
Проверил вручную и через парсер методом описанным здесь "нужно перезапускать парсер и продолжать работу с последней успешно собранной страницы"
Поэтому лимит 30000 даст максимально 10000 можно ли это как то магическим образом увеличить?
@andbaish, интересное наблюдение -- Я ещё не находил таких запросов, которые бы выдавали 10к записей в ответ. Тут уж ничего не поделать, в любой в поисковой выдаче есть ограничения, тут выход - конкретизировать запрос. У Google, насколько помню, 30 страниц, у Циана 70 страниц, и т. д. Про 845 страниц у 2GIS, пока что, поверю на слово.