jiangzishan
jiangzishan
to be comfirmed.
previous golden values didn't contain eos_token_id, and might stop generating if generated tokens num exceeds 512. current golden values will contain eos_token_id, and will still stop generating if generated tokens...
可以参考这里的文档说明：https://github.com/bytedance/ByteMLPerf/tree/main/byte_infer_perf/llm_perf#split-model
都可以的，只不过目前测试相对简单，离线切的话，一方节省了线上broadcast和scatter的耗时，加载更快；另一方面，专注模型实现实现就行，不用管容易出错的ckpt加载和切分逻辑。
> @suisiyuan 你好，有空的时候可以帮忙看一看不？ 好的，我这边看看，应该是进程管理的问题。
这里应该只是获取分词器的token_id配置吧，用于判断生成的token是否是eos从而决定是否停止生成。