NiniAndy

## ❓ Questions and Help ###问题1 请问有llm-asr-nar的conf吗，我感觉我自己配置的文件不是很对： ``` model: LLMASRNAR model_conf: lsm_weight: 0.1 # label smoothing option length_normalized_loss: true encoder: SANMEncoder encoder_conf: hub: funasr init_param_path: "/ssd/zhuang/code/LLM/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch/" freeze: true llm: Qwen2.5-1.5B-Instruct...

发现了在LLM-ASR推理中存在的一些小问题

1

## ❓ Questions and Help #### What is your question? 在LLM-ASR任务中，我用默认whisper_qwen_linear.yaml训练aishell，训练了10个epoch，用best_model.pt进行inference。 第一次：默认whisper_qwen_linear.yaml中有SpecAugLFR，因此在inference的时候经常出现无厘头的重复，频率很高。 e.g. BAC009S0768W0178 撇油加加撇油加加撇油加加撇油加加撇油加加撇油。。。 第二次：删掉默认whisper_qwen_linear.yaml中所有的dropout和SpecAugLFR，重新训练以后，在inference无厘头的重复出现的概率降低了，但依然偶尔会有。问题转移成在inference是会在解码结果前面多出现一两个字。我已经检查了mask似乎没有什么问题，在推理时我也尝试禁止了prompt，结果似乎也没有变化。 e.g. BAC009S0766W0399 幢经过近两个星期的漫长等待 (经过近两个星期的漫长等待) 一些配置和sh文件我通过附件的形式发你： conf：[https://github.com/NiniAndy/FunASR/blob/mymerge/examples/industrial_data_pretraining/llm_asr/conf/whisper_qwen_linear.yaml](url) train.sh: [https://github.com/NiniAndy/FunASR/blob/mymerge/examples/industrial_data_pretraining/llm_asr/demo_train_or_finetune.sh](url) inference.sh: [https://github.com/NiniAndy/FunASR/blob/mymerge/examples/industrial_data_pretraining/llm_asr/infer_speech2text.sh](url) #### What's your environment?...