zhys513

import tensorflow as tf opt = tf.keras.optimizers.Adam(LR) #add a line 混合精度训练 opt = tf.train.experimental.enable_mixed_precision_graph_rewrite( opt, loss_scale='dynamic') model.compile( loss='sparse_categorical_crossentropy', optimizer=opt, # 用足够小的学习率 # optimizer=PiecewiseLinearLearningRate(Adam(5e-5), {10000: 1, 30000: 0.1}), metrics=['accuracy'], ) 以上代码供参考

我尝试了直接使用ChatGLM的transformer部分输出文本的embedding，输出4096位embedding，使用相似度算法，实测效果不及chatyuan-v2和chinese_roberta_wwm_ext_large

目前使用官方提供的p-tuning方案在羊驼52k中文数据上微调，出来的效果直接影响到原始的模型本来回答很好的内容，52K中文数据的回答也不尽人意，不知道在微调方面是不是还有什么技巧。目前有调整的是文本的输入输出长度，其他的跟官方给的参数一致。