lyyang

Results 10 comments of lyyang

> @kyzhouhzau After training, I run the script with do_train=False, do_eval=True and do_predict=True . My dev.txt and test.txt contains the same data I trained my model on (i.e train.txt is...

Hi, recently, I also tried to reproduce the code, And did you try the parameter epoch 10? when I use the 100 epochs, I get the better result on the...

你好,可以从这个链接的participate获得,需要先注册账号,https://competitions.codalab.org/competitions/27980

你好,这看起来像是transformers版本的问题,可以检查一下transformers版本是不是4.6.0

你好,1-shot的实验设置下用了1张V100,5-shot的实验设置下用了2~3张V100

> 你好,占用内存比较大的地方主要是“每个类别下取多少个样本”,也就是取多少shot,我这里使用的V100的每个显存为32G。这里对于5way1shot的小样本学习的定义不是只拿5个样本来进行训练,而是从原始的大数据集中采样很多这种5way1shot的sample进行训练,因为测试集中的类别和训练集中的类别是不重合的。

> 你好,请问,您的显卡使用中,哪一部分占用的内存最大呢? 具体数据的采样过程可以看data_loader.py的FewRelDataset函数部分,参数上要保证Q_na=0,否则会采样进来多的样本。

> hi, you can see the Data and Models section to get FewRel 1.0 dataset first.

你好,我删除了proto.py中一些可能引起错误的冗余代码,并更新了proto.py, 可以再试一下。如果还有错误,可以按照如下方式进行检查: 1. run_train.sh中是否有--cat_entity_rep 2. 检查fewshot_re_kit/sentence_encoder.py中的line 180开始的代码,看一下是否是第二个return返回的函数值。 `if cat: sequence_outputs = outputs['last_hidden_state'] # [20, 128, 768] tensor_range = torch.arange(inputs['word'].size()[0]) # inputs['word'].shape [20, 128] h_state = outputs['last_hidden_state'][tensor_range, inputs["pos1"]] # h_state.shape [20,...

你好,可以截屏一下eval脚本中的具体设置吗,bert模型要确认是使用的bert-base-uncased模型