DoReMIFaSol icon indicating copy to clipboard operation
DoReMIFaSol copied to clipboard

BPE n'est plus disponible à cet url

Open linogaliana opened this issue 4 years ago • 6 comments

Il semblerait que la BPE ait changé d'URL

doremifasol::telechargerDonnees("BPE_ENS")
essai de l'URL 'https://www.insee.fr/fr/statistiques/fichier/3568629/bpe19_ensemble_csv.zip'
Error in download.file(url = caract$lien, destfile = nomFichier) : 
  impossible d'ouvrir l'URL 'https://www.insee.fr/fr/statistiques/fichier/3568629/bpe19_ensemble_csv.zip'
De plus : Warning message:
In download.file(url = caract$lien, destfile = nomFichier) :
  cannot open URL 'https://www.insee.fr/fr/statistiques/fichier/3568629/bpe19_ensemble_csv.zip': HTTP status was '500 '

linogaliana avatar Jul 12 '21 07:07 linogaliana

Effectivement, cette page semble dynamique, la BPE 2020 a remplacé la BPE 2019 à cette url : https://www.insee.fr/fr/statistiques/3568629/

Le fichier s'appelle maintenant bpe20_ensemble_csv.zip.

py-b avatar Jul 12 '21 08:07 py-b

J'étais parti pour faire la petite modif constitant à changer le 19 en 20. Mais je me suis rendu compte qu'il fallait aussi vérifier les modalité des variables (notamment la nomenclature TYPEQUIP), et ça m'a découragé.

Je persiste à penser que ces infos ne devraient pas être dans le json parce que ça rend la maintenance difficile. Elles sont dispo en téléchargement sur le site et pour l'instant on ne fait rien de ces informations contenues dans le json.

py-b avatar Jul 23 '21 12:07 py-b

Bien reçu, normalement ce genre de travaux est scripté là : https://github.com/InseeFrLab/DoReMIFaSol/blob/master/data-raw/archive/liste_donnees.R La bonne réponse est je pense à terme d'automatiser ce travail de mise à jour de la base de données.

pierre-lamarche avatar Jul 23 '21 12:07 pierre-lamarche

Dans le cadre de pynsee, je voulais écrire un script qui check de manière automatique l'ensemble des URL pour chaque entrée du JSON. Avec python, cela ne devrait pas être excessivement compliqué.

Ce script pourrait tourner à intervalles réguliers avec cron.

Cela donne un indicateur régulier des clés à mettre à jour

linogaliana avatar Jul 23 '21 13:07 linogaliana

J'ai corrigé les noms de fichiers : 1b6397db07b5fe1022ccb50b25eef1bfb628ad23 Les métadonnées restent pour l'instant celles de la BPE 2019.

py-b avatar Aug 16 '21 07:08 py-b

Remplacé 2020 par 2021.

py-b avatar Jul 28 '22 20:07 py-b