关于mask lm

[andiShan11]

您在掩码中文词时的实现如下:

for index in index_set:
   covered_indexes.add(index)
   masked_token = None
   # 80% of the time, replace with [MASK]
   if rng.random() < 0.8:
     masked_token = "[MASK]"
   else:
     # 10% of the time, keep original
     if rng.random() < 0.5:
       if FLAGS.non_chinese == False: # if non chinese is False, that means it is chinese, then try to remove "##" which is added previously
         masked_token = tokens[index][2:] if len(re.findall('##[\u4E00-\u9FA5]', tokens[index])) > 0 else tokens[index]  # 去掉"##"
       else:
         masked_token = tokens[index]
     # 10% of the time, replace with random word
     else:
       masked_token = vocab_words[rng.randint(0, len(vocab_words) - 1)]

index_set是一个中文词的所有索引，但是您在这个循环里面对每个中文字都随机mask了，这和BERT里面的掩码策略感觉一样，WWM不是一个整词 要么全mask，要么全不mask吗 按照您这个实现 一个完整的中文词也可能只mask一部分 是我的理解有误吗？

[ysyfrank]

wwm的mask是广义的mask，包含三种情况