应用前景

人工智能作为新一轮科技革命和产业变革的重要驱动力量，正在深刻改变世界。自然语言处理作为人工智能自然语言处理的核心技术，它推动着语言智能的持续发展和突破，并越来越多地应用于各个行业：可应用于机器翻译系统，帮助用户跨域语言鸿沟。微软、谷歌、百度等知名网络公司都先后推出了在线翻译系统，目前全球每天机器翻译服务提供的在线翻译量已经达到了1万亿词的规模。可应用于智能问答对话系统，实现更为智能便捷的人机交互。微软开发的开放域聊天机器人“小冰”、小米推出的“小爱同学”、Apple推出的Siri语音助手都是自然语言处理应用于智能问答对话系统的产物。可应用于机器新闻写作、医学诊断报告生成和天气预报生成等领域时，实现文章报告自动撰写，有效减轻人工工作。腾讯开发的Dreamwriter自动化新闻写稿机器人年均新闻写作实际发稿量已超过50万篇。可应用于计算机古诗创作领域，助力AI赋能文学教育。清华大学推出的九歌古诗创作系统已累计为用户创作超过400万首诗词，为中华诗词文化的传承与发展贡献力量。由于具备广泛的应用前景和深远影响力，自然语言处理势将随着人工智能的快速发展而蒸蒸日上，必定会成为现代化学科与技术的焦点，并时刻影响我们的日常生活。

研究内容

多模态神经机器翻译：相比传统面向文本的神经机器翻译模型，多模态神经机器翻译致力利用不同模态的信息来改善翻译效果。然而，现有多模态机器翻译模型建模存在缺乏多模态语义交互的缺陷。围绕这一问题，本项目拟研究一种基于图结构语义交互的多模态神经机器翻译模型。该模型使用图结构来表示不同模态输入的语义关联，然后进行多模态语义交互建模，使得翻译模型能更好地学习到多模态的语义表示，改善后续翻译。具体而言，研究技术方案包括两个部分：1.使用统一多模态图表示来建模输入图像和文本的各种语义关联。对于同模态内部的语义建模，拟采用全连接图分别建立图像中的各视觉对象和文本中的各个词的语义关联；而对于跨模态的语义建模，使用工具来建立图像视觉对象和文本名词短语之间的语义关联；2.以该多模态图表示为基础，进行多模态语义交互编码器建模。由于图像和文本处在不同语义空间，首先拟采用不同参数来分别建模两个模态的语义表示，然后通过跨模态语义关联边进行不同模态语义交互，使得编码器隐层包含更为丰富的语义信息。

   融入外部知识的自然语言生成：传统的自然语言生成任务只依靠输入文本的信息进行建模，生成的文本质量有限。知识对于自然语言生成任务而言，可以超越输入文本中的语义限制，帮助生成系统生成更加丰富、有内容的文本。作为传统研究的拓展，本项目拟研究如何对外部知识进行建模并帮助后续文本生成。对于外部知识的建模，拟采用预训练模型获取通用文本上的自然语言语法和常识知识，该预训练模型可以为基于大量单语数据训练得到的语义编码器。基于以上得到的外部知识表示，拟采用多种方式使用该知识以增强后续文本生成模型：1.将预训练模型参数作为自然语言生成模型编码器的初始化参数。2.基于检索的思想，将外部知识的文本表示存入数据库中，使用注意力机制检索所需要的知识来丰富模型处理的信息。