KDD2018

Hello，I got same problem,when I installed xformers via 'pip install -v -U git+https://github.com/facebookresearch/[email protected]'. Did you solve it?

我在2400+对图文定位数据集上做基于Lora的微调，效果很差，完全找不到图片目标和文本得对应关系，我也试着调整--fix-vit参数，但也没用，效果依旧很差。有大佬知道如何应对吗？

我也降低了model_max_length，不过是基于chat模型在2张3090上做lora微调，但是效果很差，我理解应该是没微调visual模块的参数导致的，请问大佬们有微调过visual模块吗？只微调visual模块，需要多少算力？

> > 请问您的summarized_description.txt中是否有相关实例，生成的create_summarized_entities.parquet中是否有内容 > > 我不太理解你的意思。在summarized_description.txt 是我手动修改的，补充了少量示例（3个），create_summarized_entities.parquet中存在内容 请问大佬，prompt_tune后生成的四个模板，是否都手动修改过？能否提供一下修改后的模板以供参考？

@shaoqing404 感谢大佬的指点，claim和community这两个模板您修改了么？

我在2400+对图文定位数据集上做微调，效果很差，完全找不到图片目标和文本得对应关系，我也试着调整--fix-vit参数，但也没用，效果依旧很差。 @elesun2018 楼上微调效果怎么样？

有大佬只微调过视觉模块吗，最低需要多少算力？

> 你是说model.transformer.visual.requires_grad_(True)来实现微调过视觉模块？  这段代码没搞懂，不使用lora，fixvit为true，冻结vit？ 使用lora占用资源较多，冻结vit，占用的资源不再那麽多？ 这个似乎是全量微调的时候通过设置--fix_vit参数确定visual是否微调。通过lora微调，不是通过target_modules参数吗，就是对应finetune.py中的类LoraArguments的lora_target_modules。

> @KDD2018 我在2400+对图文定位数据集上做微调，效果很差，完全找不到图片目标和文本得对应关系，我也试着调整--fix-vit参数，但也没用，效果依旧很差。 后来找到问题了吗？ 没有，微调之后，整体的聊天套路是学到了，但是目标和标签的关系完全没学到。我猜测是因为没有微调视觉模块，因为我看源码中LoraArguments的lora_target_modules参数指定的都是LM中的模块。仅仅是猜测，也请大佬们指点迷津。

> 请问如何根据peft保存的模型文件转换成推理用的qwen模型  有没有相应的代码 可以参考README中的微调部分，有相关代码