tang-ping

代码的问题

1

在多轮对话infei时会出现大量的#号，这是为什么 : 小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。 : 我建议您及家人及您的医生进行进一步的检查，以确定小张的病因。同时，我建让您及家人做好的饮食和生活习惯，以避免其他的健康问题。###########################################################################################################################: 小王被确诊为肝炎双重感染，最可能的并发症是什么？ : 根据相关文献，肝炎双重感染的危险因素主要包括肝炎、营养不良、免疫抑制剂、病毒敏感免疫等。因此，我建让您及家人及您的医生进行进一步的检查，以确定小张的病因。

问题

2

不知道大佬有没有遇到ValueError: paged_adamw_32bit is not a valid OptimizerNames这个错误

问题

3

### 🐛 bug 说明 如果只有Input和正例，那么损失函数是什么呢 ### Python Version None

autodl

1

想问下大佬在autodl上微调过chatglm吗，每次我微调后下次都要重新配置环境，好麻烦

def __call__(self, batch): lengths = [len(instance["input_ids"]) for instance in batch] batch_max_len = max(lengths) input_ids_batch, labels_batch = [], [] for instance in batch: input_ids = instance["input_ids"] labels = instance["labels"] padding_len =...

[INFO] [comm.py:570:init_distributed] Not using the DeepSpeed or dist launchers, attempting to detect MPI environment...有人遇到这个问题吗

请问flash attention 2可以加速可节约多少内存呢

我有个问题，为什么要必须model.half()，要不然就会报错expected scalar type Half but found Float

问题

1

使用deepspeed这种方式训练有什么优点呢