Liang Hu
Liang Hu
> 之前可能finetune功能被使用的比较少，一直没被反映过问题。等着我后面统一修一下finetune功能 作者你真是太敬业了，回复得好快，十分感谢，好运常伴汝身，我也看看源码什么情况~~thanks a lot
这么敬业，记得让老板涨工资啊
> 这个问题确实存在，当时设计finetune的时候忽略了这一点。我做完当前的投稿之后会改一下这一条 预祝 Best Paper
好的, 非常感谢作者快速的回复, 我爱你!
dataset = load_dataset("lighteval/MATH")  同遇到此问题，好像有load script的数据集极大概率会遇到此问题，请问大家有什么好的解决方案嘛，谢谢 环境如下： datasets 2.21.0 transformers 4.44.2 huggingface-hub 0.24.5 update： 只降级datasets到2.14.6可临时解决问题~~
> 我曾经遇到过类似的问题 可能是压缩包解码的问题，通过pip install py7zr解决 这个对我没用
datasets 3.0.1 版本，问题依旧  
10月20日，问题依旧，datasets 3.0.1版本已更新batch函数，但目前2.14.6无此函数
 update: 新版trl已经限制datasets最低版本
> 下载官方的emotion数据集时，报： UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte > > 使用代理访问官方仓库就没有这个错误 试试降级datasets到2.14.6这个版本，我降级了就没事了= =不知道是啥bug。。