Zhaorui Yang
Zhaorui Yang
It is essential that the [chat model](https://huggingface.co/meta-llama/Llama-2-7b-chat-hf) is utilized instead of the [base model](https://huggingface.co/meta-llama/Llama-2-7b-hf) for these experiments. Should this adjustment fail to resolve the issue, please provide samples of the...
The test set comprises a modest total of 112 instances of openfunctions, a factor that could contribute to the observed variability. Our experimental results were obtained using the PyTorch version...
Thanks for your interest! In an initial experiment, training with fp16 resulted in instabilities. Consequently, we adopted bf16 for training while continuing to use fp16 for inference. This approach has...
您好，感谢您对我们项目的兴趣！ 本项目绝大多数实验仅使用了单卡，多卡推理的问题可以参考[LLaMA-Factory原仓库](https://github.com/hiyouga/LLaMA-Factory)。参数问题以控制台实际输出为准。
应该就是llama-factory的默认参数，我没有调这些
我觉得没有影响。我在实验的时候没管warnings
可能是环境原因吧...
部分实验用3090，部分用A800
可能是因为有一些环境方面的微小差异导致随机性未能完全被抹去= =
humaneval 评估太慢了，用了`do_sample False`来加快，其他地方都是LLaMA-Factory predict 的默认配置，应该是有sample；在同一个环境下多次执行结果不变是正常的，因为LLaMA-Factory固定了随机种子。 结果未能完全复现可能是我当时做实验的环境和复现的环境不是完全一样，可能由requirements.txt中某些未指定版本的package带来，也可能由操作系统带来。。。具体是什么原因我也不清楚。。。