xyliu
xyliu
> 好的，谢谢！我复现的时候用了macro-F1。用你的代码中的macro-F1跑了下和我的结果是相似的。 请问，您复现时也是用的dynet嘛
> > > 好的，谢谢！我复现的时候用了macro-F1。用你的代码中的macro-F1跑了下和我的结果是相似的。 > > > 请问，您复现时也是用的dynet嘛 > > 不是，我用的Pytorch 请问，能为我提供一下您复现的代码？我也用pytorch复现了一个，但是训练速度很慢，不知哪里需要优化，我的邮箱是[email protected]
检查一下你的pytorch版本，或者手动测试一下torch_dtype = getattr(torch, 'float32')是不是会报错？
这个配置跑最大长度为2048应该是跑不起来的。可以试试缩短输入长度。
> 按照步骤复制之后微调报错 ValueError: The port number of the rendezvous endpoint 'None:None' must be an integer between 0 and 65536. 请问是哪里出问题了吗？ 检查一下 ```configs/sft.yaml``` 文件中的 ```main_process_ip``` 和 ```main_process_port```是否被正确指定
现在的 ```finetune_moss.py``` 已经支持带plugin数据的微调了，只需要按照我们提供的数据格式处理数据就行了。
> deepspeed_multinode_launcher上一行的换行符后面有个空格要删掉 yes，可能是复制指令的时候出了问题，谢谢纠正！
> 确实，我放到vim里面发现换行符颜色都不对，现在修改可以运行但是会报错端口问题 ValueError: The port number of the rendezvous endpoint 'None:None' must be an integer between 0 and 65536. 这个是需要在哪里进行配置或是指定呢？ 检查一下 ```configs/sft.yaml```文件中的 ```main_process_ip``` 和 ```main_process_port``` 是否被正确指定。