基于生成对抗网络与多头注意力的文本隐写术

随着深度学习的发展,基于文本生成的隐写术取得了重大突破.现有基于文本生成的方法存在暴露偏差的问题,即训练阶段每个输入都来自真实样本标签,预测阶段的输入来自上一时刻预测的输出.训练和预测之间的输入样本差异会产生误差积累,使得生成样本与真实样本分布相差过大.针对这个问题,提出了一种基于生成对抗网络和多头注意力的文本隐写术—TS-GANMA.首先,利用生成对抗网络训练文本生成器,通过多头注意力机制提取多头注意力得分参与奖惩模块的奖励计算,得到更适合生成器的反馈信息.随后,生成器与鉴别器进行对抗训练,能够解决暴露偏差的问题,优化文本生成模型.最后,对文本生成模型输出的条件概率分布进行编码,实现秘密信息嵌入.实验结果表明,在相同的嵌入率时,TS-GANMA隐写术与 LSTM-vlc 和 ADG 相比,隐写文本的困惑度有显著的降低,这是因为采用TS-GANMA进行文本隐写,生成的隐写文本与真实文本的统计分布更加拟合,生成的隐写文本质量更高.