joe.zhao
> > 1.你好，我想问一下，在P-tunning中，[Mask]在一众[unused]中得位置是怎么确定的？是人工选择的吗？如果不是的话，是根据什么方式确定的？ > > 2.原论文中写的当数据量比较少的时候用的anchor-word，比如预测“英国首都”，在几个[unused]中加一个[capital]效果会比较好，这个[capital]应该加在哪个位置是如何确定的呢？ > > 不是作者哈，试着说一下自己的理解： > > 1. 这个项目中的prmopt没有使用[unused] token，这里的[Mask]就和manual prmopt的mask位置一致。你看到的可能是苏剑林大佬文章中用了unused token的setting，他的代码在这里：https://github.com/bojone/P-tuning > 2. 这个项目中其实prompt中大部分的token都是anchor-word，具体到`PT_Fewshot/data_utils/task_pvp.py`中你可以看各个task的prompt。比如说Rte任务的prompt格式如下： > https://github.com/THUDM/P-tuning/blob/368ab8561bab04b44010744a365124efaed6bf16/PT-Fewshot/data_utils/task_pvps.py#L288 > > 它对应的`block_flag_a`是： > https://github.com/THUDM/P-tuning/blob/368ab8561bab04b44010744a365124efaed6bf16/PT-Fewshot/data_utils/task_pvps.py#L290 > > 其中第5个值为1，表示这个词是可以替换成LSTM embedding的，在这个prompt中对应`the`这个token。...
chinese please
@BucherLi estimator执行predict每次都会去加载图，用queue能避免这个问题
需要修改下代码，请参阅graph.py
理论上来说会进一步提高
@bowen-xu 代码已更新
@sunweiconfidence 你好，数据集是我网上找的，我对数据集进行了一次更新，采用了更规范的数据集，附件中有数据集的生成方式的论文
你没有实例化BertSim 对象
@Zhangpeixiang bert相比于其他模型来说有质的飞跃，nlp目前还处在一个发展的阶段，模型本生并不一定就能达到完美的效果，在文本匹配这一块来说，bert论文的fine turning任务中没有提到过文本匹配的任务，xlnet有提到，可以期待下xlnet的效果。
@18234040430 3，1.12