Edgar Marca comments

Results 13 comments of


                                            Edgar Marca

crash on planet file

I'm having the same problem. Here is my setup and the error from kern.log - Ubuntu 14.04 - libprotoc 2.5.0 - psql (PostgreSQL) 9.3.5 ``` Oct 13 18:18:10 osm-db kernel:...

Fix one error regarding xml code inside html

Hi @catarinaacsilva, sorry I miss this. I will test this out later today. Thanks

Fix one error regarding xml code inside html

Hi @catarinaacsilva thanks for the effort on adding feature. I'm working on a new version of the package and I will include fix into it. stay tune.

gluttony does not work with recent pip

I confirm that it doesn't work with pip version pip 9.0.1.

Agrega informacion meta a las spider.

@aniversarioperu, estos datos deben ser parte del item. Esta informacion sirve para debugear la spider y ubicar donde se encuentra el item buscado. Ademas, tambien puede servir para hacer busquedas...

Agrega informacion meta a las spider.

We can also add magic fields: https://github.com/scrapinghub/scrapylib/blob/master/scrapylib/magicfields.py

Crear un pipeline solo para guardar los datos usando PostgreSQL

Manolo usa el modulo dataset para hacer la connection a la base de datos lo que sugiere que el pipeline se llame `DatasetPipeline`. - Dataset: https://dataset.readthedocs.org/en/latest/

Crear un pipeline solo para guardar los datos usando PostgreSQL

Ya tengo la primera version de `DataSetPipelines` ``` python # -*- coding: utf-8 -*- # Define your item pipelines here # # Don't forget to add your pipeline to the...

Crear un pipeline solo para guardar los datos usando PostgreSQL

@carlosp420, podemos usar un indice para el campo `sha1` asi las busquedas son mas eficientes. Claro, tambien podemos usar DeltaFetch. Lo voy a ver mas tarde. :)

Agregar Dockerfile

Docker es mas ligero e igual de facil que usar que vagrant. Tambien puedo agregar un Vagrantfile pero tendriamos que mantener dos cosas.