qianzhang2018

@bai-shang can you share your train.py ?Thank you.

do you solve this problem？i can't download it like you.

the same problem,i've met，do you know how to solve it now?

i can work now,batch size can't be 1,do you set it the same? i set 2,now it works

你好，能问一下。因为我刚刚看nlp相关的文章，所以有这样的疑问。simsce和本文的监督训练，本质来说算是一种弱监督训练吧？都是在nli数据集上进行监督，在sts上进行测试。真正的有监督应该在sts上训练测试把？ 然后如果我有大量的医学领域无监督语料和少量有监督语料。那是不是先用你们的这种方式先进行无监督训练，然后再用少量的微调会比较好？ 期待您的回答~

十分感谢～ ---原始邮件--- 发件人: "Yan ***@***.***> 发送时间: 2021年12月15日(周三) 下午4:26 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [yym6472/ConSERT] 请问一下，这篇文章和SimCSE的区别有哪些？ (#1) 你好，能问一下。因为我刚刚看nlp相关的文章，所以有这样的疑问。simsce和本文的监督训练，本质来说算是一种弱监督训练吧？都是在nli数据集上进行监督，在sts上进行测试。真正的有监督应该在sts上训练测试把？ 然后如果我有大量的医学领域无监督语料和少量有监督语料。那是不是先用你们的这种方式先进行无监督训练，然后再用少量的微调会比较好？ 期待您的回答~ 是的，因为STS数据集的构建需要人工为句子对打分，还是比较耗时耗力的，数据规模也没法很大。然后之前的工作有证明NLI任务对STS任务有较强的提升，因此使用NLI训练模型，然后提取出其中的句子编码器直接做STS任务。对于你的情况，如果人工标注的STS样本数量足够的话，无监督训练后再微调（设计二分类或者回归任务）肯定是能有更明显的提升的。 — You are receiving this because you commented. Reply...

your code is easy to read .i will follow you. thank you for your code.

Thank you for reply. So can it be used directly now?i want to use it in my own code.

when i use the Contextual Loss,I find it easy for oom.But my batchsize is only one. the input of my x4 sr model is 128*128,can you give me some advise?

> FineTuner 的 run 方法，有 temperature 参数，可以适当调高至 0.1 （默认 0.05），temperature 的含义可以参考 simCSE 的论文。 > > finetuner.run(temperature=0.1) 我有一个相反的疑问，就是我您提供的原版模型在测试的时候，确实会出现算余弦相似度的时候，相似和不相似的文本都比较高的情况，然后我进行再训练（句子对训练，参数使用您默认的），训练了1epoch后，拿相同的测试集进行测试，发现测试集的相似度都普遍下降的很低，都在0.7以下。这个可能是什么原因么？