Orion icon indicating copy to clipboard operation
Orion copied to clipboard
verified publisher icon OrionStarAI

是否能给出一个上下文长度的表格？

Open wuyeguo opened this issue 2 years ago • 3 comments

从文档推测，Base的上下文长度是4096么？ 是否能给出不同的模型的上下文长度列表？ Orion-14B-Base Orion-14B-Chat Orion-14B-LongChat: 320k. Orion-14B-Chat-RAG: Orion-14B-Chat-Plugin: Orion-14B-Base-Int4: Orion-14B-Chat-Int4:

wuyeguo avatar Jan 22 '24 07:01 wuyeguo

从文档推测，Base的上下文长度是4096么？ 是否能给出不同的模型的上下文长度列表？ Orion-14B-Base Orion-14B-Chat Orion-14B-LongChat: 320k. Orion-14B-Chat-RAG: Orion-14B-Chat-Plugin: Orion-14B-Base-Int4: Orion-14B-Chat-Int4:

感谢关注。除了LongChat的版本的上下文不是4096，其他模型的上下文都是4096。

chenxingphh avatar Jan 22 '24 11:01 chenxingphh

从文档推测，Base的上下文长度是4096么？ 是否能给出不同的模型的上下文长度列表？ Orion-14B-Base Orion-14B-Chat Orion-14B-LongChat: 320k. Orion-14B-Chat-RAG: Orion-14B-Chat-Plugin: Orion-14B-Base-Int4: Orion-14B-Chat-Int4:

感谢关注。除了LongChat的版本的上下文不是4096，其他模型的上下文都是4096。

RAG版本的上下文也是4k吗？请问下RAG使用方式和其他版本有没有什么区别？

Labmem009 avatar Jan 23 '24 03:01 Labmem009

从文档推测，Base的上下文长度是4096么？ 是否能给出不同的模型的上下文长度列表？ Orion-14B-Base Orion-14B-Chat Orion-14B-LongChat: 320k. Orion-14B-Chat-RAG: Orion-14B-Chat-Plugin: Orion-14B-Base-Int4: Orion-14B-Chat-Int4:

感谢关注。除了LongChat的版本的上下文不是4096，其他模型的上下文都是4096。

RAG版本的上下文也是4k吗？请问下RAG使用方式和其他版本有没有什么区别？

RAG也是4k，RAG的使用prompt可以看这里：https://huggingface.co/OrionStarAI/Orion-14B-Chat-RAG/blob/main/generation_utils.py

chenxingphh avatar Jan 23 '24 06:01 chenxingphh

多谢答复

wuyeguo avatar Jan 25 '24 06:01 wuyeguo

从文档推测，Base的上下文长度是4096么？ 是否能给出不同的模型的上下文长度列表？ Orion-14B-Base Orion-14B-Chat Orion-14B-LongChat: 320k. Orion-14B-Chat-RAG: Orion-14B-Chat-Plugin: Orion-14B-Base-Int4: Orion-14B-Chat-Int4:

Orion-14B-LongChat: 320k. --> 这个传入大于4096的Tokens无法使用。

shibingli avatar Mar 21 '24 10:03 shibingli