我伤你不懂
我伤你不懂
我使用LLaMA-Factory 项目全参数微调 loss 异常，没有使用官方的代码微调，请问大家有微调成功的吗？ 
使用框架微调qwen72B出现下面的问题： ``` 12/23/2023 20:32:53 - WARNING - llmtuner.data.utils - Checksum failed: missing SHA-1 hash value in dataset_info.json. 12/23/2023 20:32:53 - INFO - llmtuner.data.loader - Loading dataset 1124_math.json... 12/23/2023 20:32:53 -...
训练配置8*A100(80G)全参数微调 loss 曲线：  训练脚本如下: ``` model=/mnt/pfs-guan-ssai/nlu/data/tianxy/MODELS/Qwen-72B dataset=1124_math python -m deepspeed.launcher.launch --node_rank=${RANK} --world_info=${n4_world_info} --master_addr=${MASTER_IP} --master_port=${MASTER_PORT} src/train_bash.py \ --deepspeed scripts/configs/ds_config_zero3.json \ --stage sft \ --model_name_or_path $model \ --do_train \ --dataset ${dataset}...
使用官方的推理代码，模型是官方的33B ``` from transformers import AutoTokenizer, AutoModelForCausalLM import torch tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-coder-6.7b-base", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-coder-6.7b-base", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda() input_text = "你好啊" inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_length=128) print(tokenizer.decode(outputs[0],...
目前的react模板中，一般需要增加role如thought/observation/action等，参考data下[readme文件](https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md)，以及[这篇文章](https://zhuanlan.zhihu.com/p/678989191)。可以直接根据我们目标模型的template组织数据，手动添加到user或者assistant字段中。 如：role包含 user，thought，assistant，微调qwen qwen的数据组织如下： ``` system You are a helpful assistant. user {{query}} assistant {{ans}} ``` 我们需要增加thought角色： system You are a helpful assistant. user **{{query}} thought {{thought}}** assistant {{ans}} 如只预测assistant只需要把assistant前面的内容都当做user即可...
如题，感谢开发者开源这个刷论文的神器，读者想刷其他的pdf论文，但是苦于prompt没有开发者这样一目了然的回答，所以想问开发者是否可以开源提问kimi的prompt？thx