CodeInDreams
Results
1
issues of
CodeInDreams
与openai返回的token对比发现，几乎各chat模型都有计算方式错误或结果偏差，于是我自己从零建模和编写了token计算工具 你的部分token计算代码有严重错误，这里列举部分： - vision base64读取 - vision图片缩放 - function call、functions - tool call、tools - 0301/0314与0613版本计算差异 - 多个参数（model、functions）组合使用对token计算的影响 - 应使用`encodeOrdinary`来跳过special tokens 由于精力有限我无法在开源代码上提交修改，本issue只是告知绝大部分token计算都有误，请你自己有精力时研究下