Training Machine Translation Quality Estimation Model Based on Pseudo Data

WU Huanqin1, ZHANG Hongyang1, LI Jingmei2, ZHU Junguo1, YANG Muyun1,†, LI Sheng1

1. Computer Science and Technology, Harbin Institute of Technology, Harbin 150001; 2. Computer Science and Technology, Harbin Engineering University, Harbin 150001; † Corresponding author, E-mail: yangmuyun@hit.edu.cn

Abstract Aimed at providing efficient training data for neural translation quality estimation model, a pseudo data construction method for target dataset is proposed, the model is trained by two stage model training method: pre training based on pseudo data and fine tuning. The experimental design of different pseudo data scale is carried out. The experiment results show that the machine translation quality estimation model trained by the pseudo data has significantly improved in the correlation between the scores given by human and the artificial scores. Key words machine translation quality estimation; deep learning; pseudo data

在机器翻译研究中, 质量估计(quality estimation, QE)是对机器翻译系统的输出进行质量预测,其结果可以快速地判断出机器翻译质量, 对机器翻译性能的提升起着指导作用[1]。与机器翻译评价不同的是, QE系统的目标是在不依赖参考译文的情况下对机器翻译系统的输出进行质量预测。在QE任务中, 句子级的 QE 是最热门的研究内容, 其任务是为机器译文的每个句子估计得分。早期的质量估计研究主要利用机器学习的方法, 将其视为一个回归或分类问题, 实现对机器翻译译文质量的估计,主要的研究内容是特征的抽取及选择。

随着深度学习的引入, 通过深度神经网络强大

的特征学习能力, 解决了需要人工设计特征的重要难题。例如, 在机器翻译研究中, 基于双向长短时记忆神经网络(long short term memory, LSTM)的序列到序列(sequence to sequence)建模方法取得显著的效果[2]。近年来, 在机器翻译质量估计研究中,也出现许多基于深度学习的机器翻译质量估计方法。Zhu 等[1]提出通过学习双语句子的特征表示来建立机器翻译质量估计模型, Kim 等[3]提出通过循环神经网络对机器翻译质量估计进行建模。实验结果表明, 这些基于深度学习的质量估计模型在不使用大量复杂语言学特征的情况下, 仍能取得可观的效果。对基于深度学习的翻译质量估计模型的训练