Tulipdu
Tulipdu
有支持Transformers 系列的课程吗
？？？原来是这里的问题 我做了 Q8 Q4_k 跑起来都是 ###
Hello, can Farmark support LLM-based evaluation for answers that are mathematically equivalent but not string-matched? For example: Golden response: 1 / sqrt(2) Student answers: 1 + sqrt(2) or 1 -...
这看起来像是网络问题，首先保证服务器可以链接hunggingface。此外你可以下载校准数据集并在本地加载进行处理。 这是我的处理函数 ，请你参考 ``` def load_pileval(data_path='/data/dataset/calib_dataset/pileval/test'): # 加载本地数据集 test 为 validation 数据 214670条 data=load_from_disk(data_path) return [text for text in data["text"] if text.strip() != '' and len(text.split(' ')) > 20] #...
贴一个 qwen2关于awq的帖子[qwen2-awq](https://qwen.readthedocs.io/zh-cn/latest/quantization/awq.html#) awq本身也提供了一部分量化参考[awq-doc](https://github.com/casper-hansen/AutoAWQ/blob/main/docs/examples.md) ```python def load_pileval(data_path='/data/djh/dataset/calib_dataset/pileval/test'): # 加载本地数据集 test 为 validation 数据 214670条 data=load_from_disk(data_path) return [text for text in data["text"] if text.strip() != '' and len(text.split(' ')) > 20] #...
> > > #读取 解压后的jsonl文件 data=load_dataset("json",data_files='/workspace/data/val.jsonl') > > > calib_data = load_tulu_v2(data) > > > > > > ==================== #读取 解压后的jsonl文件 data=load_dataset("json",data_files='/workspace/data/val.jsonl') > > calib_data = load_tulu_v2(data) 这里加载后数据打印是这样的 DatasetDict({ train:...
> Got the same issue. I installed torch using `conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia ` and cloned the autoawq repo and installed it from source....
by the way , if I add `use_layerwise:true` in P&D config,it will hang
This is my shell ``` # pip install auto-round export AR_USE_MODELSCOPE=true # --device_map auto \ auto-round \ --model /mnt/afs/models/DeepSeek-V2-Lite-Chat \ --scheme W8A16 \ --iters 0 \ --format auto_round \ --group_size...