Steven Jacob

Results 8 comments of Steven Jacob

> 这里面应该是需要绑定本地数据路径,而不是上传 请注意文档中的: To run federated task, please make sure to ues fate>=2.1.0 and deploy it with gpu machines. To running this code, make sure training data path is already...

> 从这里报错看的话,用的是cpu?机器要有gpu才可以支持半精度的训练 是GPU的机器,2台,每台一块

解决了,提交错位置了,在容器里面去提交了,这个容器里没有配置gpu,感谢老哥。

> 请问是怎么部署的呢?Eggroll的配置正常吗? 部署在2台机器上(每台一块GPU),提交其他任务都可以正常执行成功,按照教程中的这个进行提交的任务就卡住 https://github.com/FederatedAI/FATE-LLM/blob/main/doc/tutorial/parameter_efficient_llm/ChatGLM3-6B_ds.ipynb 下面是我提交的任务代码: import time from fate_client.pipeline.components.fate.reader import Reader from fate_client.pipeline import FateFlowPipeline from fate_client.pipeline.components.fate.homo_nn import HomoNN, get_config_of_seq2seq_runner from fate_client.pipeline.components.fate.nn.algo_params import Seq2SeqTrainingArguments, FedAVGArguments from fate_client.pipeline.components.fate.nn.loader import LLMModelLoader, LLMDatasetLoader,...

> 这里问的是用哪个部署包链接哈,因为其他的几个算法可能没有用到deepspeed 自己按照FATE-Builder进行打的镜像,代码是使用的最新的2.1的代码(FATE)

![image](https://github.com/FederatedAI/FATE-LLM/assets/19503929/e061a760-5b3c-47ae-acf1-a0610b459f62)

> > > 这里问的是用哪个部署包链接哈,因为其他的几个算法可能没有用到deepspeed > > > > > > 自己按照FATE-Builder进行打的镜像,代码是使用的最新的2.1的代码(FATE) > > 使用FATE-Builder打包的时候,如果需要打包fate-llm,需要设置一下变量: LLM_DIR= //fate-llm的目录 PACK_LLM=1 //1代表需要打包fate-llm LLM_VER=2.0.0 //fate-llm的版本号 设置了的,最后使用的fateflow-all-gpu和eggroll-all-gpu的镜像

![image](https://github.com/FederatedAI/FATE-LLM/assets/19503929/fe62f268-f5e5-46ce-a0c8-9ac53edbc3ab) hua换成QWen2模型后,会报这个错误。