triangle

When I ran this example, I reported the following error 2019/09/19 10:15:50 [Register] OK 2019/09/19 10:15:50 [Register] OK 2019/09/19 10:15:50 [Register] OK 2019/09/19 10:15:50 [Register] OK 2019/09/19 10:15:50 [Serving ]...

有没有异步pipeline的参考？

2

我在尝试写支持异步的pipeline，以提高保存数据速度，但是我发现loop没法嵌套，如果我在pipeline创建一个loop会抛出这个错误： `This event loop is already running` 我尝试使用**nest_asyncio**进行补救，但是发现这样起来效率并不高，同步和异步的插入速度差别不大。 以下是我的代码参考 ``` from motor.motor_asyncio import AsyncIOMotorClient class MongoPipeLine(SpiderPipeline): def __init__(self, logger): super().__init__(logger) import nest_asyncio self.mongo_client = MongoClient(host=MONGO_HOST, port=MONGO_PORT, username=MONGO_USER, password=MONGO_PWD) self.async_connection =...

是否有使用redis的计划？

1

我试过这个框架，单机上确实不错，但是其他爬虫框架可以支持分布式。 我看了调度方法_process_async_callback也只是根据回调进行，是否有计划在这之前把任务放到redis中，这样可以方便分布式的运行爬虫。

**Is your feature request related to a problem? Please describe.** If use sql_mode is auto_execute_ai_response，some commands can't be execute, just like analyze code .... **Describe the solution you'd like** could...

拉取镜像时出现503

1

拉取时有一个分片一直是retrying，然后会报503，其他分片没有问题 

400 Bad Request

1

``` 400 Bad Request 400 Bad Request cloudflare ``` 在go版本中也有出现这个问题，说是升级能解决问题 https://github.com/wangluozhe/requests/issues/33