Text_Infilling
Text_Infilling copied to clipboard
VegB
Source code for Text Infilling, implemented with Texar.
I have read your paper Text Infilling. The introduction of MaskGAN in the paper is a little confusing. In the Introduction section, it writes: "For example, the recent MaskGAN work...
你好！我是一名初学者，对于您的这篇论文很感兴趣，想着用中文的数据集来训练模型会是什么样的效果，但是我用了一个240万的中文数据集训练模型时遇到了一个问题，可能是自己能力不足没法解决，只能求助您，这个问题就是：在训练模型时，老是报错‘’tensorflow.python.framework.errors_impl.UnknownError: IndexError: too many indices for array‘’，我只跑通pos数据集，对于neg数据集也会出现同样的错误，我用的是服务器运行程序，而对于中文数据集，只训练‘’epoch:0 test_bleu:30.07800579071045 template_bleu:79.62971329689026 test_loss:6.98167085647583 test_ppl:1187.98974609375‘’然后就出现以下报错： root@a8f8e2b9891d:/notebooks# python self_attn.py --mask_rate 0.2 --blank_num 2 --filename_prefix 'data.' --data_dir './yelp_data/data/' /usr/local/lib/python3.5/dist-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of...
template是一句话，然后可能句子有两个blank。将两个答案合在一起，做个masked的self-attention（只能看到当前预测词之前的信息），然后以这个结果作为query。另外一边，那句话（带有两个mask token）作为key和value，再做一次attention，再经过一个FF就得到了一层的输出。下一层的query来源于上一层的输出再经过一个self-attention，key和value不变，还是template。然后重复这一过程。是不是这就是训练过程啊。 老铁，是不是这就是模型大概过程啊，我主要的疑惑是训练时候decoder那边的input是不是就是只是两个blank处真实答案的拼接，还是原句都会和他们拼接在一起
