今年6月，京东一年一度的618店庆拉开帷幕。许多京东用户发现，在今年的618中，京东上线了全新的AI导购机器人JOY，它沿用了京东经典的机器狗形象，可以为用户解答618店庆相关问题。

　　面对京东用户们提出的各种各样的问题，JOY大多能给出令人满意的回答，甚至可以和用户闲聊扯家常。此外，JOY也强化了自己的多轮对话能力，以便应对用户的反复追问。

　　在京东JOY强大的对话能力中，基于开放域目标驱动的生成式对话服务来自于人工智能企业深思考人工智能（iDeepWise.ai）。其在多模态深度语义理解、人机对话等核心AI技术上已不断突破创新。这些新技术的不断迭代，也在一步步推动AI实现商业化落地。

　　AI对话机器人背后的黑科技究竟是什么？

　　AI人机对话在商业化落地中有很多场景，如智能客服、服务机器人、智能外呼、智能终端的交互、智能家居的交互、电视机语音交互遥控器等等。而这些人机交互场景背后的基础技术，就是人机对话技术，其中最核心，则是语义理解技术。

　　智能客服，可能是眼下最常见的人机对话场景。许多人对于AI对话能力的体验，也是从智能客服开始的。然而，如果智能客服欠缺语义理解技术，或者语义理解技术不够好，就会出现如下现象：

某平台的智能客服，无法理解用户的自然语言

　　以往，人机对话产品的回答策略大多基于规则，即在系统内提前录入指定关键词，一旦用户触发指定关键词，智能客服便会给出对应回复。

　　例如，在智能客服领域，当系统监测到用户的提问涉及查快递一词，就会自动给出物流信息。但面对帮我看看我的快递到哪了一类的复杂提问方式，智能客服便无能为力。

　　甚至，当用户询问需要检查快递员身份吗等问题时，同样会触发查快递一词。这时，系统甚至会给出南辕北辙的回答。

　　相比较上述人机对话的糟糕表现和体验，使用深思考深度语义理解与人机对话技术的产品，则体验和表现就相当优异，如下截图：

深思考机器人：可以了解用户的喜好个性化对话 深思考智慧营销机器人：根据历史上文信息，给出推荐

深思考AI问好医：AI学习医生知识后自动对健康咨询上下文回复

　　深思考iDeepwise将数据和AI模型驱动的深度语义理解及MRC技术作为人机对话产品的核心。其自研的多模态深度语义理解引擎依赖在NLG（自然语言生成）、MRC（机器阅读理解）以及DM（对话管理）等任务上的原理性创新，让AI能够读懂用户自然语言，并给出针对性的回复。

　　在精准理解用户意图的同时，深思考的多模态深度语义理解引擎还可以在对话中不断了解用户，了解用户的画像及个性化需求及兴趣，并基于用户画像与客户展开个性化的对话与推荐。

　　此外，它还可以根据场景，给予对话机器人不同的性格人设，让用户感觉到AI对话机器人服务独有的情感体验。这项黑科技可以赋予IP形象以生命，使IP形象成为虚拟世界里拥有不同鲜活性格的AI虚拟人，并体贴、关怀用户。

　　深度的多模态语义理解技术，也让深思考在AI人机对话领域形成了领先优势。据了解，2020年6月在中国中文信息学会（CIPS）和中国计算机学会（CCF）主办的中文语言理解的全球权威赛事2020语言与智能技术竞赛上，深思考在全球1000多家参与单位中脱颖而出，在机器评测指标和人工评估指标中均登顶榜首，获得全球冠军。

　　据了解，取得这一成绩，是因为深思考团队提出的多源整合的解码器的深度神经网络模型技术。该技术在AI人机对话上能流畅地引导用户交流，主动沟通，并和MRC机器阅读理解、用户画像、目标规划深度结合，适配多场景应用，可以迅速迁移多个场景。

　　深思考创始人杨志明博士表示，腹有诗书气自华，让系统不停地博览群书、阅读理解大量信息，才能使机器对内容能理解会思考，并实现自然流畅的人机交互。深思考多模态深度语义理解引擎iDeepwise。ai5.0目前也正式发布应用，5.0版本引擎能够阅读理解非结构化语音、视频、文本，试想让机器时刻不停地阅读理解互联网上的语音、视频和文本后，机器就会变得更聪明博学，相信机器更理解人类的日子已经不远了。

　　深思考多模态深度语义理解与人机对话引擎iDeepwise。ai5.0可以应用于诸多落地场景：比如电商、银行、保险、智能终端（音箱、手机、车机、智慧屏）、游戏、虚拟偶像中。

　　AI——从感知走向认知

　　现在，感知阶段的人工智能走向认知人工智能是人工智能发展的必然阶段，多模态的深度语义理解是认知人工智能阶段中的关键核心。深思考人工智能创始人杨志明博士对36氪表示。

　　何为多模态语义理解？简而言之，通俗化来讲就是让机器可以看懂、听懂、读懂。而深思考的人工智能多模态深度语义理解，就是让机器可以看懂视频图像，可以听懂语音，读懂文本等多模态非结构化信息背后的含义。

　　如何让机器能够阅读理解？这就依赖机器阅读理解技术（MRC），在MRC领域，深思考同样成果斐然。在2019年的中文机器阅读理解竞赛中，深思考凭借着自研的BMANet2.0模型，在2502家知名学术科研机构和企业团队中脱颖而出，刷新了SOTA记录，并在两项评测指标中均登顶榜首，获得全球冠军。

　　例如，在电商场景，传统的电商智能客服，需要系统开发商人工整理大量问答对、知识图谱、知识库或规则，并通过问答对匹配、规则匹配，实现人机对话。使用MRC技术后，系统就可以直接阅读理解商品的说明书，极大地提高了效率，减少了人力成本，并大大提高了智能客服的智商。

　　AI商业化新基建——多模态语义理解

　　目前，产业界普遍认为，多模态语义理解将会成为AI在各行各业实现大规模商业落地的重要基础设施。这一逻辑背后的原因非常简单——现实世界本身就是多模态的。就像你去医院看病，医生要望闻问切，对患者各种模态的状况进行检查（比如血、尿，体温，MR，详细咨询病情等），不能只凭线上聊天的几行文字就做出诊断。

　　多模态语义理解具备了同时多种模态信息进行深度理解的能力，所以适配的应用场景就更广泛，因为现实中的场景都是多模态的。例如，在医疗场景，医生会对就诊病人望闻问切；电商场景，用户会在咨询时发来语音或图片或文本；在线教育场景，学生总是期待老师能够通过视频、音频和解说文字来教学，通过图文并茂实现更好的教学效果。就连人类的社交场景也是多模态的，人们总是期望能见面详谈，能面对面看到对方的样子、姿态、表情、声音，并通过对话、声音、视觉等多种模态信息，理解对方的意图。

　　人工智能多模态语义理解存在着广阔的商业前景，并有望成为AI行业的新基建。

　　凭借着在人机对话、机器阅读理解、多模态语义理解领域的技术积累，深思考已在智慧医疗、智慧生活、智慧商业三大AI场景成熟应用落地，并基于其iDeepWise5.0多模态深度语义理解引擎的技术优势，不断快速适配更多应用场景，在虚拟偶像、二次元平台、游戏等领域不断开疆拓土。让机器更理解人类，未来可期，也是深思考的未来不断探寻之路。