京东|微软携手NVIDIA，打造出能通过简单问句构思完整解答的语言模型
文章图片
文章图片
微软携手NVIDIA打造全球最大单一规模的变形金刚 （Transformer）语言模型MT-NLG （Megatron Turing Natural Language Generation Model） ， 标榜具备5300亿组参数 ， 成为Turing NLG后继语言模型 ， 更是目前普遍使用、具备1750亿组参数的GPT-3语言模型近三倍规模 。
依照说明 ， MT-NLG语言模型将能对应语意预测、阅读理解、知识推论、自然语言推论 ， 以及分析词义消歧意 ， 借此更深度理解人类自然语言表意 ， 更能从中判断特定所指内容 ， 不会因为不同语言、地理文化背景差异产生理解落差 。
而背后训练则是通过NVIDIA的GPU加速运算 ， 透过分布式深度学习发挥高效率训练成果 ， 进而构建高精度自然语言模型 ， 并且能发挥稳定互动效果 。 通过NVIDIA DGX SuperPOD构建的Selene超级计算机 ， 背后总计以560组DGX A100进行运算 ， 通过NVLink、NVSwitch串接每台DGX A100所搭载80GB内存 ， 借此对应庞大自然语言模型运作时所需巨量资料 ， 并且通过分布式训练让系统以更高效率完成学习 。
目前研究人员更进一步让MT-NLG语言模型能通过简单问句构思完整解答内容 ， 若以过往的语言模型进行此类运算的话 ， 可能需要花费更多时间得出结果 ， 甚至结果可能会是答非所问内容 。
另一方面 ， 微软目前提供语言翻译工具中 ， 已经支持100种语言 ， 同时语言使用人口约覆盖56.6亿人 ， 近期更加入巴什基尔语、迪维希语、藏语、土库曼语、维吾尔语和乌兹别克语等语种 。
微软表示 ， 通过这样的方式将能改善相同体系语言 ， 或是相近语系语言翻译质量 ， 甚至可以以此保留更多使用人口逐渐减少的少数语言 。
【京东|微软携手NVIDIA，打造出能通过简单问句构思完整解答的语言模型】而目前微软在其翻译机制内采用名为Z-code的多语言人工智能模型 ， 可将相同语系语言进行整合学习 ， 例如将印地语、马拉地语和古吉拉特语等印度语系交互训练 ， 即可让不同语言互译质量提升 ， 而藉由训练法语、葡萄牙语、西班牙语和意大利语 ， 即可让属于相同语系的罗马尼亚语互译品质提升 。
