FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

activation_beacon最长上下文窗口长度400K,是否与现有的长上下文模型(baichuan-192k,GPT-4-128k、kimi chat)对比评测结果

Open cnsky2016 opened this issue 2 years ago • 1 comments

看论文主要是跟微调方法(如Positional Interpolation、NTK-Aware Scale ROPE和StreamingLLM)比较 有没有跟现有商业长上下文模型准确度对比评测结果? 想知道该技术方案的效果

cnsky2016 avatar Jan 24 '24 07:01 cnsky2016

Hi,谢谢你的关注。

目前没有和商业模型对比,之后会跟进。

namespace-Pt avatar Jan 25 '24 03:01 namespace-Pt