通过微调可以使模型拥有基本的中文OCR能力吗?

[JustWB13]

比如准备一些包含中文的图片, 用这些图片对模型进行微调后得到的模型会具有中文OCR能力吗?

[Sleepychord]

主要是clip训练的时候没中文，所以如果想拥有中文且不损失原有能力还是挺难的。我们下个版本应该会考虑这个问题，但是这个版本如果要增加的话，我猜测有难度，但是也不确定。

[yysirs]

用的不是blip2嘛，为啥说是clip训练？求解答~

[xiaoxin83121]

用的不是blip2嘛，为啥说是clip训练？求解答~

BLIP2的VIT端是fixed住的，CLIP训练出来的权重

[xiaoxin83121]

主要是clip训练的时候没中文，所以如果想拥有中文且不损失原有能力还是挺难的。我们下个版本应该会考虑这个问题，但是这个版本如果要增加的话，我猜测有难度，但是也不确定。

想问下，这个版本要增加的话，能介绍下主要的思路嘛？感谢~

[yuanlisky]

主要是clip训练的时候没中文，所以如果想拥有中文且不损失原有能力还是挺难的。我们下个版本应该会考虑这个问题，但是这个版本如果要增加的话，我猜测有难度，但是也不确定。

您好，这个clip训练是指的对齐之后的微调吗，我看readme里有介绍，训练BLIP2的时候是有用到中文数据的

[aisensiy]

主要是clip训练的时候没中文，所以如果想拥有中文且不损失原有能力还是挺难的。我们下个版本应该会考虑这个问题，但是这个版本如果要增加的话，我猜测有难度，但是也不确定。

所以下个版本有时间点吗，谢谢

[SLTK1]

类似DONUT这种OCR-FREE的方法吗