zora-triumph

关于log key中的<*>如何参与Bert的MLM训练

2

您好，logbert这篇论文让我获益匪浅。与LAnoBERT进行了一些对比，关于log key中的参与预训练任务我有以下疑惑： 1）在数据预处理阶段，train数据只包含日志Sequence中的log key ID（对应代码中的EventID），请问bert预训练过程中如何从vocab中关联token呢？ 2）您论文中的input应该是log key，请问log key中的是否参与训练呢？若参与训练，请问随机mask（如果mask到）之后，如何做loss呢？若不参与训练，请问在mask阶段应该如何处理呢？ 期待您的答疑解惑，如若上述理解有偏差，请您见谅。