shiqing cai

Results 8 comments of shiqing cai

你好,不好意思原数据集好像被我删了,你可以参考Les-totle,原数据是一个问题有多个候选篇章,我是将其拆开了,你可以根据问题ID重新复原原始数据,例如 "q_id": "Q_50849ydjyq#0",'#'前面的部分就是原始问题ID,同时有的问题中有多个提问的复杂问题,我是用规则将其拆成多个简单问题,对应'#'后面的数字。

嗯嗯,老版的多卡并行比较低级,换成 tf2 系列会更方便。

> 你好, 由于我现在暂时沒有计算资源,无法支撑模型训练, 但我想看一下这个模型能达到的效果。因为我看网上中文多篇章MRC的代码实现较少,若是您的模型效果比较理想,希望能借鉴下您的框架。请问您方便提供您已经训练好的模型参数文件让我稍微尝试一下么?谢谢。 感谢关注。项目近期会迁移到 tf2.x 版本,同时会发布模型文件,敬请期待。

把指针网络改成多标签输出就可以。常规的 start 和 end 的输出都是 one-hot 形式,直接用 softmax 训练,多答案可以推广成 multi-hot 输出,改成多标签方案。

问题1就是检索模型; 问题2,MaskQuest层的作用是在拼接后的上下文中屏蔽问题,因为答案是在篇章中判断首尾位置,所以需要把拼接在前面的问题的所有token位置mask掉,就是根据seg来mask; 问题3,Answer层是问题解码层,根据答案起点位置的概率分布和结束位置的概率分布选择概率最高的片段(即首尾位置的组合),是一个无参数的网络层,在首尾组合矩阵的合法元素中提取最大概率的元素。

“是否”类观点型问题比较简单,用BERT文本对二分类就可以处理了,实现起来很简单,项目暂时不考虑添加。

你好,感谢提问。strProcess.so 是为了追求评估速度用C写的扩展编译而成,前期没有考虑系统兼容性,现在已经完全改为python实现。

The same problem on android, minicpm model. First two questions are fast, then become very slow. Do you solve it?