MiniCPM-V icon indicating copy to clipboard operation
MiniCPM-V copied to clipboard
Published 4 months ago • verified publisher icon OpenBMB

我在做垂直领域应用，想先让模型通过预训练学一些文档材料，再进行图文对话微调，这个怎么操作？

Open zpge opened this issue 1 year ago • 1 comments

RT

zpge avatar Aug 28 '24 09:08 zpge

你好，那你可以考虑先对qwen做纯文本训练，然后进行图文对训练

LDLINGLINGLING avatar Aug 28 '24 12:08 LDLINGLINGLING

考虑先对qwen做纯文本训练，然后进行图文对训练 图文预训练可行吗？例如图文对直接在vlm上做预训练，然后再用图文对在vlm上做instruct sft

SirLPS avatar Oct 13 '24 14:10 SirLPS