Zhou ZhiMing

chatglm3

1

结果抛到半途时，开始出现大量的重复文本和胡说八道，内容生成很不稳定

/usr/bin/ld: /usr/local/lib/libsentencepiece.a(wire_format_lite.cc.o):(.rodata+0x104): multiple definition of `google::protobuf::internal::WireFormatLite::kMessageSetItemStartTag'; /usr/local/lib/libprotobuf.a(wire_format_lite.cc.o):(.rodata+0x164): first defined here

几点疑问或建议

3

1，利用cpp进行加速，如llama.cpp那样，你们也可以搞个mixtral.cpp，支持mixtral-8x7b和mixtral-7b在f32，f16等精度上的灵活切换 2，全参数的训练、提示学习微调代码，及其对应的数据json格式