Neo
Neo
I have the same question, can someone explain it?
@withcancer02 我增加了一个简单的限制启动goroutine的接口，试了一下，基本可以做到限制CPU占用。 ~~~go builder := btlet.NewSnifferBuilder() builder.MaxWorkers = 256 ... ~~~ 以后还会继续优化
@fslove 可以提供下测试机的配置么
@fslove 方不方便再贴下代码。我在vultr的单核vps上跑的。MaxWorkers设到1以后，CPU占用就只有零点几了，，
6.69和自己推导出来的结果不一致
我看了下这个项目的代码，应该是直接把爬虫爬取到的结构化信息对应字段直接导出生成的txt。应该没有用到NER之类的技术