Je-vie

Euler2.0 分布式训练问题

14

你好！ 在跑分布式训练，参考了[Euler 2.0 在大规模图上的应用 ](https://github.com/alibaba/euler/wiki/Euler-2.0-%E5%9C%A8%E5%A4%A7%E8%A7%84%E6%A8%A1%E5%9B%BE%E4%B8%8A%E7%9A%84%E5%BA%94%E7%94%A8) ，看到要把一个大的json数据分片成partition_num个json，分片的原则是边要和src 节点放在同一个json中，我没有找到这个分片的脚本，于是自己写了一个，分成多个json文件之后，需要转换成二进制文件，于是使用脚本 sh gen_partitioned_data.sh graph.json_0 index_meta output_dir s 0 sh gen_partitioned_data.sh graph.json_1 index_meta output_dir s 1 ... sh gen_partitioned_data.sh graph.json_(p-1) index_meta output_dir s (p-1) 设置了s=2在这个过程中发现会报错，查看原因出现在euler/euler/tools/json2partdat.py...

Euler2.0分布式训练遇到问题

18

我先贴上我的分布式运行脚本： 我先跑了example/gat/run_gat.py 成功，过程中产生了 cora文件，里面 包含euler/Node euler/Edge等，各包含10个.dat 文件 我将euler文件作为data_dir ``` def main(_): flags_obj = tf.flags.FLAGS if flags_obj.local: local_test() if flags_obj.tfdist: job_name = flags_obj.job_name if job_name == "start_euler": start_euler() elif job_name ==...