scrapehero-code
it works but not always
Hi, I'm trying to scrape the PS5 page on Amazon.it:
https://www.amazon.it/dp/B08KKJ37F7
the most of times I do not get the data, sometimes I get it. I scheduled the script to run every 10 seconds, herebelow you can see six executions. Only one get the data properly. Which could be the reason? Maybe it is a timeout issue?
{"name": null, "price": null, "short_description": null, "images": null, "rating": null, "number_of_reviews": null, "variants": null, "product_description": null, "sales_rank": null, "link_to_all_reviews": null}
{"name": null, "price": null, "short_description": null, "images": null, "rating": null, "number_of_reviews": null, "variants": null, "product_description": null, "sales_rank": null, "link_to_all_reviews": null}
{"name": "Sony PlayStation 5", "price": null, "short_description": "Prova un caricamento ultra rapido con un'unit\u00e0 SSD ad altissima velocit\u00e0, un coinvolgimento ancora maggiore grazie al supporto per il feedback aptico, ai grilletti adattivi e all'audio 3D e scopri una nuova generazione di incredibili giochi PlayStation Lasciati stupire dalla grafica incredibile e prova le nuove funzionalit\u00e0 di PS5. Scopri un'esperienza di gioco pi\u00f9 profonda con supporto per feedback tattile, trigger adattivi e tecnologia audio 3D Ray Tracing - Immergiti in mondi che offrono un livello di realismo senza precedenti, con ogni raggio di luce simulato individualmente, creando effetti di ombre e riflessi ultra realistici sui giochi PS5 compatibili. Fino a 120 FPS con uscita a 120 Hz - Goditi un gameplay fluido con frame rate elevato fino a 120 FPS per giochi compatibili, con supporto per l'uscita a 120 Hz su display 4K Tecnologia HDR - Su una TV HDR, i giochi PS5 compatibili mostrano una gamma di colori vivaci e realistici Uscita 8K - Le console PS5 supportano l'uscita 8K, permettendoti di giocare sul tuo display 4320p Feedback tattile - Prova il feedback tattile tramite il controller wireless DualSense mentre giochi a determinati giochi per PS5 e senti gli effetti e l'impatto delle tue azioni di gioco attraverso il feedback sensoriale dinamico. Trigger adattivi: fai i conti con i trigger adattivi coinvolgenti e i loro livelli di resistenza dinamica che simulano l'impatto fisico delle tue azioni di gioco in alcuni titoli PS5 . Descrizione completa", "images": "{"https://images-na.ssl-images-amazon.com/images/I/71PMC4DWWFL.AC_SX466.jpg":[350,466],"https://images-na.ssl-images-amazon.com/images/I/71PMC4DWWFL.AC_SX679.jpg":[511,679],"https://images-na.ssl-images-amazon.com/images/I/71PMC4DWWFL.AC_SX342.jpg":[257,342],"https://images-na.ssl-images-amazon.com/images/I/71PMC4DWWFL.AC_SX522.jpg":[393,522],"https://images-na.ssl-images-amazon.com/images/I/71PMC4DWWFL.AC_SX425.jpg":[320,425],"https://images-na.ssl-images-amazon.com/images/I/71PMC4DWWFL.AC_SX385.jpg":[290,385],"https://images-na.ssl-images-amazon.com/images/I/71PMC4DWWFL.AC_SX569.jpg":[428,569]}", "rating": null, "number_of_reviews": null, "variants": null, "product_description": null, "sales_rank": null, "link_to_all_reviews": "/Sony-PlayStation-5/product-reviews/B08KKJ37F7?reviewerType=all_reviews"}
{"name": null, "price": null, "short_description": null, "images": null, "rating": null, "number_of_reviews": null, "variants": null, "product_description": null, "sales_rank": null, "link_to_all_reviews": null}
{"name": null, "price": null, "short_description": null, "images": null, "rating": null, "number_of_reviews": null, "variants": null, "product_description": null, "sales_rank": null, "link_to_all_reviews": null}
{"name": null, "price": null, "short_description": null, "images": null, "rating": null, "number_of_reviews": null, "variants": null, "product_description": null, "sales_rank": null, "link_to_all_reviews": null}
Basically the same issue here. It works for a while, but then starts returning "Items: None". Am I getting shadow-banned by Amazon for using this?
I only search once a minute, which doesn't seem too frequent. And Amazon still works in my browser(s) on the same computer, so it seems specific to this script. I tried changing the browser headers to no avail.
