xyfZzz

对比实验中有without intent predicting，请问with intent predicting且without re-routing的效果怎么样呢？

Question about efficient memory sharing (prefix sharing)

10

I have a question about the feature of efficient memory sharing. Does different sequences that sharing the same system prompt but splicing different user-input texts share the computation and memory...

数据集中"history"中的数据会被拿去做decoder生成训练吗？

5

如下是项目的examples.json，请问"history"中每一轮的机器回复会被拿来计算生成损失吗？还是说只有output会被计算损失？ [ { "instruction": "听起来很不错。人工智能可能在哪些方面面临挑战呢？", "input": "", "output": "人工智能面临的挑战包括数据隐私、安全和道德方面的问题，以及影响就业机会的自动化等问题。", "history": [ ["你好，你能帮我解答一个问题吗？", "当然，请问有什么问题？"], ["我想了解人工智能的未来发展方向，你有什么想法吗？", "人工智能在未来的发展方向可能包括更强大的机器学习算法，更先进的自然语言处理技术，以及更加智能的机器人。"] ] }, { "instruction": "好的，谢谢你！", "input": "", "output": "不客气，有其他需要帮忙的地方可以继续问我。", "history": [ ["你好，能告诉我今天天气怎么样吗？", "当然可以，请问您所在的城市是哪里？"], ["我在纽约。", "纽约今天晴间多云，气温最高约26摄氏度，最低约18摄氏度，记得注意保暖喔。"]...

glm2训练完测试发现重复生成的情况比较严重

5

glm2训练完测试发现重复生成的情况比较严重，请问有什么好的解决办法吗？ 已知条件： 1、更新过glm2模型的py文件。 2、使用了1800条左右数据，epoch和学习率均为默认，使用web_demo.py进行测试。

请问Ziya-LLaMA-13B-v1.1支持的句子长度是多少？

[BUG]Qwen模型加载后NTK未生效

12

Qwen模型加载后NTK未生效，超过长度后就开始重复生成了，请问能帮忙解决一下吗？

请问InternLM-XComposer2在DocVQA和TextVQA这类数据集上的效果如何？有测试过吗？

大佬，关于你记录的第11个问题，sft后模型出现循环输出的现象，你有找到原因或者解决办法吗？

[Feature] InternVL2_5-38B可以用vllm部署吗？

4

### Motivation 请问InternVL2_5-38B可以用vllm部署吗？ ### Related resources _No response_ ### Additional context _No response_