是否可以微调llava 1.6 34B

[Mr-Loevan]

Describe the feature Please describe the feature requested here(请在这里描述需求)

Paste any useful information Paste any useful information, including papers, github links, etc.(请在这里描述其他有用的信息，比如相关的论文地址，github链接等)

Additional context Add any other context or information here(其他信息可以写在这里)

[hjh0119]

近期会接入

[FoolishMao]

插眼

[hjh0119]

现已支持 请拉取最新代码

[Mr-Loevan]

现已支持 请拉取最新代码

在微调34b时，使用custom的数据集，batchsize超过1就会报错。

template.py中的res['images'] = torch.concat([b['images'] for b in batch])这一行代码 RuntimeError: Sizes of tensors must match except in dimension 0. Expected size 5 but got size 3 for tensor number 1 in the list.

[hjh0119]

在微调34b时，使用custom的数据集，batchsize超过1就会报错。

用支持的数据集有这个问题吗