embedding_study
embedding_study copied to clipboard
YC-wind
ELMo-data
@2hip3ng 数据是自己爬的，没有什么特殊的地方，数据格式就是分词后的文件：
美好 的 生活 ， 离 不 开 越来越 鼓 的 “ 钱 袋子 ” ， 同样 离 不 开 的 还有 干净 整洁 有序 的 “ 美 村子 ”
一行行这样的就行，中文的ELMO觉得还是字向量比较好一些。
输入是 (batch_size,max_seq_word_len,max_char_len) , 输出是(batch_size,max_seq_word_len) ,后移一位
想请教一下： 1.中文的ELMO是不是词向量比较好一些，因为中文词基本2到4个字，卷积基本一次就没了。 2.还有，直接用sentence来训这个字向量是什么意思呀？为什么用sentence来训练的话是把max_seq_word_len换成最大sentence长度？现在max_seq_word_len指的不就是一个句子中的单词个数吗，不足的话补padding。 谢谢！@YC-wind
@JepsonWong 1、词向量会好一些，但是会占用较大的内存，因为每个字的组合会很多，最后decode时候会很慢，而字向量相对较少，常用的差不多2000左右，词的话就会大的多；2、用sentence理论是可以的，但是不现实，文本按照这个层级，就是 text-seq-word-char;这个就偏长文本了，层次多了。