SenseVoice icon indicating copy to clipboard operation
SenseVoice copied to clipboard
Published 5 months ago • verified publisher icon FunAudioLLM

SenseVoice与LLM结合

Open lucasjinreal opened this issue 1 year ago • 4 comments

是否有计划直接将SenseVoice嵌入到LLM中进行理解，将SenseVoice当作一个AudioEncoder，embedding与LLM融合，让LLM去进行更深层的理解

lucasjinreal avatar Jul 11 '24 07:07 lucasjinreal

mark

bird-9 avatar Jul 19 '24 07:07 bird-9

是否有计划直接将SenseVoice嵌入到LLM中进行理解，将SenseVoice当作一个AudioEncoder，embedding与LLM融合，让LLM去进行更深层的理解

large版本应该自带一个tfm的解码器，但目前还没开源~

kaixindelele avatar Aug 06 '24 06:08 kaixindelele

tfm 是啥

lucasjinreal avatar Aug 06 '24 07:08 lucasjinreal

是否有计划直接将SenseVoice嵌入到LLM中进行理解，将SenseVoice当作一个AudioEncoder，embedding与LLM融合，让LLM去进行更深层的理解

哈哈，是transformer的缩写。 N44M@20ZJX_NWF1O5RZ KS2

kaixindelele avatar Aug 06 '24 07:08 kaixindelele