Zheng-Jay
Zheng-Jay
我们收集了垂直领域的预训练数据和指令数据（混合了通用数据），应该在tigerbot-base还是tigerbot-chat上二次开发呢？我看好像大家都是基于base做二次pt和sft，但是我不想浪费掉chat版本训的数据，基于哪个版本训效果更优呢？
pro训练时爆OOM
你好我跑PRO训练代码会报OOM，我是80G的A800，训练13B的模型，按道理应该不会爆啊 我把batch size设为1，block_size设为100，还是爆了，不知道问题出在哪？ train_hh.sh： ``` export OMP_NUM_THREADS=16 root_dir=.. #stage 23 id=$1 data_path=$2 ranking_len=$3 mkdir -p $root_dir/logs/$id/$ranking_len # --main_process_port 29534 \ CUDA_VISIBLE_DEVICES=4,5,7 accelerate launch --num_processes 2 --config_file ds_config.yaml --main_process_port=29534 main.py \...
感谢作者的开源分享！ 阅读了你的文章，其中提到LoRA+embed、norm层的训练，可以有效提高模型在支持长上下文时的性能，我想要在自己的训练代码中加入这种训练，但对于如何添加，有些疑惑。 我看了你的训练代码，LoRA+的配置似乎是： ``` config = LoraConfig( r=8, lora_alpha=16, target_modules=targets, lora_dropout=0, bias="none", task_type="CAUSAL_LM", ) model = get_peft_model(model, config) # enable trainable params [p.requires_grad_() for n, p in model.named_parameters() if any([k...
Can LongLoRA be used for incremental pre-training? If so, how can I do that?
**Describe** Thank you for your team's contribution! I would like to fine-tune E5-mistral-7b-instruct for tasks that interest me. Do you have plans to open-source training code? Alternatively, are there similar...
感谢贵团队的贡献！ 最近在使用xtuner训练，但是遇到了一些问题。 1、一些参数的含义不是很清楚，有没有针对每个参数的说明文件呢？ 2、我进行sft，但是跑起来后step和我手动算的对不是，config： ``` # Copyright (c) OpenMMLab. All rights reserved. from peft import LoraConfig from datasets import load_dataset from mmengine.dataset import DefaultSampler from mmengine.hooks import (CheckpointHook, DistSamplerSeedHook, IterTimerHook,...
Thank you for your outstanding contribution! I am not very familiar with the configuration of model fusion, and I couldn't find explanations for each parameter in the repository. I encountered...
Thank you for your contribution! I have encountered some issues. 1、Full train Here is my training script: ``` CUDA_VISIBLE_DEVICES="0,5" torchrun --nproc_per_node 2 \ -m training.run \ --output_dir ./output/7-2_full \ --model_name_or_path...
我看文档里只写支持到qwen1.5，但是issue里不少人有用在qwen2上？