xu.tian
xu.tian
数据分片是为了分布式load图数据，train,test,val.id三个文件不需要
保证训练的worker读到自己的train test val id就好
> @zakheav > I tried building euler with open mp on like you mentioned, but there is no improvement in training time. > Here are the logs - > For...
-share_negs=False -unsupervised_loss='rank' 这个应该不是我们的参数，是不是实现‘rank’ loss 有问题？
out_dim默认是1，用户是需要输入out_dim的。AttEncoder实现的时候是指使用了dense feature，如果要使用其他feature，可以参照shallowEncoder，自己加一下
set_in_neighbor，在这版本里面没有用，你可以把这行注释掉 json2partdat.py 是将json明文数据转换成二进制数据，方便euler快速加载，shard_num 是比partition_num 更上层的概念，partition_num 是实际物理上的分片数，shard_num是euler加载的时候的逻辑分片数 zk_path 主要使用zk来同步euler上的meta信息
shard_num 和 tf_worker 没有联系，euler是一个单独的角色，woker是一个角色
分布式生成数据这块应该是有个bug，我们会尽快解决
> > 分布式生成数据这块应该是有个bug，我们会尽快解决 > > 这个bug 实在哪里，可以提前告知，我自己改一下，然后能不能出一个分布式部署某个算法的具体的文档例子啊 目前分布式生成数据的问题是meta生成的不对，这个需要先全部过一遍数据生成meta，然后再过一遍数据生成dat文件 如果全量数据不大的话 可以参考这个https://github.com/alibaba/euler/wiki/Euler-2.0-%E6%95%B0%E6%8D%AE%E5%87%86%E5%A4%87#%E4%BD%BF%E7%94%A8build%E5%B7%A5%E5%85%B7%E7%94%9F%E6%88%90euler%E4%BA%8C%E8%BF%9B%E5%88%B6%E6%96%87%E4%BB%B6 把全量数据用一个json来处理
分布式生成数据我们会尽快给出完整的处理脚本