Mashihan
Mashihan
Update: 疑似关联issue #1030
这个我弄过 顺手答一下，在md里正常用[]()创建链接，()中填写需要引用的网页的相对地址就可以了，就是把域名去掉后的就OK
@renmada 请问，预训练时，输出是以[CLS]开头，[SEP]结尾的么？如果我自己设置了SOS，EOS作为开头和结尾标志符的话，对finetune是否会有影响呢？
> * 是以[CLS]开头，[SEP]结尾的 > * 数据量足够可能影响不大。但是不建议直接设置了SOS，EOS，用预训练模型就该保持设置一直 明白了 谢谢解答！
generate()方法可以设置解码方式的（beam search，sampling..），应该可以解决你的问题。 https://github.com/huggingface/transformers/blob/main/src/transformers/generation_utils.py
作者你好，看到代码中实现时选的是keras_bert的tokenizer，我理解是为了替换一些特殊token到unused tokens，不知道是否正确，另外，我是否可以使用AutoTokenizer来替换代码中的HBTokenizer呢？ 谢谢
+1，请问预训练/sft阶段用到的最大上下文长度是多少，外推方式是？
作者在readme里提供了：https://github.com/ryankiros/skip-thoughts#dependencies