changjun ye

我用wrk本地单机测试，同样有这个问题，服务端代码跑的是官网上提供的那个http的例子。 gnet.WithMulticore(multicore)这个multicore设置为false并发可以达到90000左右，设为true只有80000多一点。。  开启多核后： 

这玩意到现在也没解决。。

爬虫默认有个5秒睡眠时间，可以调成0

while (spiderWorker.getStatus() != Spider.Status.Stopped) { try { sleep(1000); log.info("spiderWorker running sleep"); } catch (InterruptedException e) { log.info("spiderWorker interruptedException", e); } } 我是这样搞的，在外面死循环判断爬虫的状态

> 使用datax elasticsearchwriter往 es 7.9.2 版本写入数据，column配置没有生效 > elasticsearch版本7.9.2 > datax配置: > "writer": { > "name": "elasticsearchwriter", > "parameter": { > "endpoint": "http://XXX:9200", > "accessId": "xxxx", > "accessKey": "xxxx", > "index":...