搜狗打造多形态的人机交互 推“唇语识别”技术提高精准识别

动动嘴就知道你在说什么，国内知名互联网公司搜狗推出的中文“唇语识别”技术近期在乌镇引起广泛关注，秒杀一众黑科技。笔者通过搜狗方面了解到，搜狗推出的这种人机交互新技术——“唇语识别”，是业内首个公开演示的“唇语识别”系统，通过机器视觉识别，不用听声音，仅靠识别说话人唇部动作，就能解读说话者所说的内容。

在谈到为什么要推出这项技术时，搜狗方面表示，搜狗研发唇语识别的初衷是因为搜狗搜索和输入法其实都是在和语言打交道。一方面是帮助人们用语音表达，另一方面是通过语言获取互联网上的信息。语音正逐渐成为主流的人机交互方式，但是在一些嘈杂，甚至无声的环境里，语音所能发挥的作用是有限的，这种情况下，我们就需要发展基于视觉的识别能力。

业内认为，上市后的搜狗，随着其不断地深耕人工智能领域的技术研发，会逐渐形成差异化竞争，而搜狗在人工智能上的探索也并不会止步于此，围绕着语音交互入口等多形态的人机交互方式，搜狗会在更多领域有进一步的进展。目前搜狗技术落地的产品主要包括搜狗输入法、搜狗同传、搜狗听写等产品。

垂直场景下达到90%准确率

从键盘打字到触控屏，再到现在的语音交互和手势交互，人工智能技术的发展，正在促使人机交互方式向更加多元化方向变革。据了解，与语音识别不同，“唇语识别”是一项基于机器视觉与自然语言处理于一体的技术，因此在研发难度上比语音识别大得多。

经过一年多的研发和反复修改，目前，在非特定人开放口语测试上，搜狗唇语识别系统已经达到60%以上的准确率，超过google发布的英文唇语系统50%以上的准确率，在垂直场景如车载、智能家居等场景下甚至已经达到90%的 准确率。

据悉，搜狗首创了复杂端到端深度神经网络技术进行中文唇语序列建模，通过数千小时的真实唇语数据训练。陈伟介绍，搜狗“唇语识别”技术通过10万以上的中文词训练数据，而google 英文唇语系统只有1 万 7000多词汇。另外，还得益于搜狗在自然语言处理方面的强大优势，最终取得了业界领先的唇语识别效果。

在刚结束不久的乌镇世界互联网大会上，搜狗唇语识别技术亮相，在业内大多数唇语识别技术实用性尚待考证的环境下，成功完成了业内首个中文唇语识别系统的公开演示，引起广泛关注。

AI发展助推多元交互方式

当国内大部分企业都扎堆聚集在智能语音、图像识别等领域时，搜狗唇语识别技术的推出无疑将引领整个行业进入一个全新的发展方向。

作为人机交互的形式之一，未来唇语识别技术可以辅助语音交互及图像识别，在日常生活、安防、公益等各个领域实现广泛应用。比如在车载场景下，周围噪音过大时会对语音指令产生干扰，通过唇语识别技术则可以规避干扰，保证人车交互的准确性和稳定性，日常不便发声的公共场所也可以保证说话内容的私密性。

而在安防领域，“唇语识别”更能发挥 价值，尤其是在摄像头场景下的语音获取存在盲区的情况下。据陈伟介绍，由于目前多数监控只有摄像头没有麦克风，摄像头获取数据单一，没有音频录入，往往只能看清嘴型却不知道在说什么，给案情分析带来很多难题。现在技术多集中于图像分析，集中于人脸或者行人检测、监控等，也缺乏对用户信息直接获取的方式，而唇语识别技术可以帮助公安人员获取重要的讲话信息，为公共安全提供有效支持。

除此之外，唇语识别技术还能发挥巨大的公益价值，帮助先天性听障人群或老年人，让他们更好地理解和表达自己。

作为一家技术驱动型的企业，近年来搜狗一直致力于自然语言的研究，目前在语音识别、语义理解、机器翻译等方面均 取得了行业领先的成果并实现产品落地，此次推出唇语识别技术，不仅会推动整个AI行业的技术革新，也意味着搜狗在AI领域的技术实力达到了更高的发展水平。

此前，人工智能专家搜狗CEO王小川在乌镇的演讲中论述了人工智能与连接的关系。他指出，人工智能目前的核心价值，是帮助人们进行决策。加入了人工智能的决策，人和人、人和信息、人和交易以及人和服务都能够更加精准地连接。

时至今日，人工智能的发展速度已经完全超出了我们的想象，那些电影里的炫酷黑科技正在一步步成为现实，出现在我们的生活中。随着AI技术的发展，相信在不远的将来，唇语识别也能像语音识别、图像识别一样成为我们生活中随处可见的一部分。