YiandLi

## 暂时解法： - 原因：程序会在bert4keras/backend.py 文件下，“通过设置环境变量TF_KERAS=1来切换tf.keras ”。 ``` # 判断是tf.keras还是纯keras的标记 is_tf_keras = strtobool(os.environ.get('TF_KERAS', '0')) if is_tf_keras: import tensorflow.keras as keras import tensorflow.keras.backend as K sys.modules['keras'] = keras else: import keras import...

Hello, I want to ask that: the distant dataset is directly **copy** the BOND dataset and **transfer tag_id to tag**, right? Is there any filtering operation?

It should be the latest `main` branch .

huggingface 上有 gguf 的版本，可以直接用。 https://huggingface.co/Qwen/Qwen1.5-1.8B-Chat-GGUF

> [@aliencaocao](https://github.com/aliencaocao) 嗨，我也遇到了 op 的问题，但是请问为什么最新版的代码没有 dataset_shards 这个参数了，如果我用旧版本的仓库，将不再支持我要微调的 internvl3.请问大佬是有新的解决方法了吗 > > 我的 config yaml： > > ### model > model_name_or_path: OpenGVLab/InternVL3-8B-hf > trust_remote_code: true > > ### method > stage: sft...

另外想请问下，streaming 模式其实还是不能应对一个完整的超级大的数据集（假设 cpu 放不下的情况下），它不是 iterable DB 是吗？是不是只是说是一种 Lazy tokenzie 的模式，另外 LLama-Factory 是否支持 iterable DB 呢？（ 我的数据量很大，千万量 ）。