ES-Fastloader icon indicating copy to clipboard operation
ES-Fastloader copied to clipboard
verified publisher icon didi

代码不完整，无法将流程串起来

Open ChenRussell opened this issue 5 years ago • 7 comments

请问处理各个shard的数据搬迁FastIndexLoadDataCollector类是怎么执行的，以及ZeusUtils中怎么执行的loadData.sh脚本，用的什么技术？

ChenRussell avatar Mar 23 '20 08:03 ChenRussell

FastIndexLoadDataCollector是有一个定时任务启动的，由于是内部服务，我没有把相关代码放进项目中，不过你可以任务这个认识是每分钟执行一次 ZeusUtils也是滴滴内部的服务，你可以任务是一个在远端节点上执行脚本的工具

jokerZH avatar Apr 03 '20 02:04 jokerZH

好的，感谢。关于expandfactor参数，代码里最大值是20，这个是基于什么考虑呢，如果改成比如200，会有什么影响吗

ChenRussell avatar Apr 03 '20 02:04 ChenRussell

Server中定时任务调度是用的xxl-job实现的吗？

glzpcw avatar May 25 '20 07:05 glzpcw

好的，感谢。关于expandfactor参数，代码里最大值是20，这个是基于什么考虑呢，如果改成比如200，会有什么影响吗

限制20主要是为了不让reducer任务过多，占用过多资源

jokerZH avatar May 27 '20 03:05 jokerZH

Server中定时任务调度是用的xxl-job实现的吗？

调度任务是我们内部自研的

jokerZH avatar May 27 '20 03:05 jokerZH

感觉生成了lucene文件并上传到hdfs之后的流程由于有滴滴内部的诸多服务的原因，导致代码有点断层，希望楼主能在github项目里用一个类似markDown的方式简单阐述一下流程就好~，感谢

a129734 avatar Jun 02 '20 12:06 a129734

已更新开发文档，欢迎交流

zhangliangboy avatar Jun 06 '20 12:06 zhangliangboy