renmada

看了几个例子，是不是个例？ 生成效果、评价指标怎么样？

t5用的相对位置编码，模型本身不限制输入长度。但是长度太大，显存可能不够用

没卡，训练不起

pytorch-lightning==1.4.9

感谢提醒，找个时间看看

参数重复，可能是版本不对 把t5_copy.py的96行这样改试试 ``` outputs = super().forward(input_ids=input_ids, attention_mask=attention_mask, decoder_input_ids=decoder_input_ids, decoder_attention_mask=decoder_attention_mask, encoder_outputs=encoder_outputs, past_key_values=past_key_values, inputs_embeds=inputs_embeds, decoder_inputs_embeds=decoder_inputs_embeds, labels=labels, use_cache=use_cache, output_attentions=True, output_hidden_states=True, return_dict=True) ```

【队名】：scv 【序号】：兴5 【论文】：A Late Fusion CNN for Digital Matting 【状态】：提交 【repo链接】：https://github.com/renmada/FusionMatting-paddle

> 麻烦提供一下具体的报错信息，以及最小可复现代码哦 我提供pdparams文件可以吗

> 最好也能有可复现的代码哈 另外，文件大小是多少以及用对应的 `from_pretrained` 能正常 load 吗？这种报错也有可能是误操作清空了文件，或是损坏、错误地修改了文件导致的。 也可重新 save check 下。 不是每次都会出错。主要这个模型训练了好久，保存下来发现不能load很伤。 有没有办法修复这个权重？权重大小是正常的

是多卡训练，但是只有在rank=0的时候才会保存 ```python if (global_step % args.save_steps == 0 or global_step == num_training_steps) and paddle.distributed.get_rank( ) == 0: output_dir = args.output_dir if not os.path.exists(output_dir): os.makedirs(output_dir) model_to_save = model._layers if isinstance( model,...