（原標(biāo)題：人工智能助力人機(jī)交互技術(shù)突破，所有軟件都將成為“傻瓜”軟件）

　　 近日，實(shí)爾通公司推出首款機(jī)智交互技術(shù)產(chǎn)品，除了其解決軟件操作使用問題的便捷性引起關(guān)注之外，另一個(gè)關(guān)注點(diǎn)是該成果是一個(gè)由西安電子科技大學(xué)與企業(yè)聯(lián)合推出的產(chǎn)學(xué)研合作攻關(guān)團(tuán)隊(duì)成果。

　　 基于實(shí)景語義理解的軟件操作互動(dòng)幫助系統(tǒng)能做什么？

　　 當(dāng)用戶在使用軟件中遇到問題時(shí)，可直接用自然語言描述問題。問題的提出可以是忽略操作過程等細(xì)節(jié)而進(jìn)行簡單的描述。軟件互動(dòng)幫助系統(tǒng)針對(duì)問題，能反饋出像人手勢(shì)指示一樣的直觀簡潔的幫助，以及用自然語言方式進(jìn)行描述的提醒，也可以視頻信息。整個(gè)互動(dòng)輔助過程就像有一位軟件專業(yè)操作人員指導(dǎo)在指導(dǎo)用戶使用，軟件操作即將迎來“傻瓜”時(shí)代。

　　 如下例：

　　 針對(duì)微軟的word用戶在使用中問！翻譯怎么弄？

　　 軟件操做互動(dòng)幫助系統(tǒng)適用面廣泛，不僅是軟件廠商推出的軟件需要，硬件廠商推出的硬件中其硬件設(shè)置的軟件同樣也需要，如手機(jī)、無人機(jī)、銀行自助柜機(jī)等電子設(shè)備。

　　 人機(jī)交互的發(fā)展歷程簡介

　　人機(jī)交互技術(shù)經(jīng)歷了從紙帶穿孔到個(gè)人電腦的命令行輸入，且需用戶記住這些命令才能用好。隨后微軟公司推出了Windows為代表的圖形界面，從而實(shí)現(xiàn)了“所見即所得”的進(jìn)步，減少了用戶記憶的煩惱。它的推出及鼠標(biāo)和觸摸屏的發(fā)明，使信息產(chǎn)業(yè)得到空前的發(fā)展，但依然有“不見即不得”的煩惱，進(jìn)而導(dǎo)致不知道有沒有某功能、找不到功能按鈕、用不好功能的問題。為解決這些問題2018年西安電子科技大學(xué)提出了實(shí)景互動(dòng)幫助系統(tǒng)的專利，在此基礎(chǔ)上通過產(chǎn)學(xué)研聯(lián)合研發(fā)，與實(shí)爾通公司在2022年推出了實(shí)爾通機(jī)智交互系統(tǒng)，它可以根據(jù)用戶的語音和文字自然語言對(duì)話，理解用戶使用軟件中的問題，給出解決用戶問題直觀的引導(dǎo)式的智能輔助指導(dǎo)，從而實(shí)現(xiàn)了用戶使用軟件從“所見即所得”到“想到即所得”的跨越。

　　 機(jī)智交互技術(shù)原理

　　 機(jī)智交互技術(shù)是繼命令行和圖形界面人機(jī)交互之后，最易為普通百姓接受，也是最自然的計(jì)算機(jī)交互方式。利用這種技術(shù)，用戶通過最自然的交互方式，在圖形界面基礎(chǔ)上，用自然語言提出使用中的問題，經(jīng)機(jī)智交互系統(tǒng)理解用戶意圖并結(jié)合用戶使用場景，反饋給用戶直觀的使用指導(dǎo)。這種互動(dòng)最大限度的減少用戶的認(rèn)知負(fù)擔(dān)，極大方便了用戶，是極富吸引力的全新交互方式。

　　 當(dāng)用戶在操作軟件中提出問題時(shí)，機(jī)智交互系統(tǒng)通過實(shí)景獲取模塊將用戶問題（自然語言提出）和軟件操作的實(shí)際過程（實(shí)景）有機(jī)結(jié)合，繼而通過基于深度學(xué)習(xí)的實(shí)景自然語言理解模塊理解用戶真實(shí)意圖，并由實(shí)景互動(dòng)操作模塊將系統(tǒng)的解決方案傳輸給用戶，最后通過語言提示、視頻和圖形指示等形式反饋給用戶，方便用戶的直觀理解與操作使用。

　　 機(jī)智交互的本質(zhì)是基于實(shí)景語義理解的互動(dòng)幫助系統(tǒng)，在深度學(xué)習(xí)領(lǐng)域?qū)儆诙嗄B(tài)深度學(xué)習(xí)，而視覺與自然語言處理的多模態(tài)深度學(xué)習(xí)是其中的核心，其核心問題是利用感知信息提升對(duì)話理解的水平。多模態(tài)自然語言對(duì)話，是針對(duì)使用問題的提問或?qū)υ挘瑯右痪湓捲诓煌瑘鼍跋潞x會(huì)有差異，有時(shí)其意思可能天差地別，因此準(zhǔn)確感知用戶產(chǎn)品使用場景，對(duì)于準(zhǔn)確理解用戶提問的問題及由此產(chǎn)生的對(duì)話，從而減少甚至不產(chǎn)生理解歧義就至關(guān)重要。

　　 機(jī)智交互系統(tǒng)一般包括三個(gè)部分：實(shí)景檢測(cè)裝置、基于實(shí)景語義的對(duì)話系統(tǒng)和實(shí)景互動(dòng)幫助裝置。實(shí)景檢測(cè)裝置用戶獲取用戶產(chǎn)品使用過程信息，再將信息及用戶用自然語言提出的問題傳遞給基于實(shí)景語義的對(duì)話系統(tǒng)；對(duì)話系統(tǒng)用于理解用戶真實(shí)意圖，采用了改進(jìn)的bert模型；實(shí)景互動(dòng)幫助裝置則根據(jù)用戶意圖給出直觀的使用指導(dǎo)，包括自然語言信息，手勢(shì)指示信息，及視頻幫助信息。

　　 基于機(jī)智交互技術(shù)的實(shí)景語義對(duì)話系統(tǒng)

　　 針對(duì)上述問題， 作為項(xiàng)目負(fù)責(zé)人的西安電子科技大學(xué)趙克教授，帶領(lǐng)團(tuán)隊(duì)提出了基于實(shí)景語義理解的自然語言處理模型，使得人機(jī)交互技術(shù)有了突破式的“起飛跳躍”，實(shí)現(xiàn)了從理論創(chuàng)新到核心技術(shù)突破。

　　 趙克教授長期從事人工智能及其基礎(chǔ)應(yīng)用的研究，進(jìn)行了大量的人工智能領(lǐng)域的戰(zhàn)略性、原創(chuàng)性基礎(chǔ)研究工作。趙克教授從碩士和博士期間，就開始幾年進(jìn)行專家系統(tǒng)應(yīng)用和知識(shí)表示相關(guān)應(yīng)用的研究，自1999年起，采用知識(shí)工程（含專家系統(tǒng)）技術(shù)，提出了發(fā)明創(chuàng)意“面向網(wǎng)絡(luò)的智能自動(dòng)輔導(dǎo)系統(tǒng)”，并作為研究團(tuán)隊(duì)負(fù)責(zé)人主持開發(fā)此項(xiàng)目。

　　 趙克教授在多年基于深度學(xué)習(xí)的自然語言理解的研究與應(yīng)用開發(fā)工作的基礎(chǔ)上，提出了實(shí)景語義理解的研究方向，并將應(yīng)用重點(diǎn)放在了軟件操作實(shí)景語義理解上，即人機(jī)交互的應(yīng)用研究中。在研究過程中發(fā)現(xiàn)，雖然項(xiàng)目組采用了現(xiàn)有深度學(xué)習(xí)最先進(jìn)的自然語言處理模型——Bert模型，但在處理用戶基于實(shí)景中的對(duì)話時(shí)，模型處理效果較差。項(xiàng)目組分析其原因發(fā)現(xiàn)，人們基于實(shí)景對(duì)話時(shí)，對(duì)實(shí)景環(huán)境的省略是造成理解歧義的關(guān)鍵。

　　 項(xiàng)目組通過對(duì)人們?cè)谏a(chǎn)實(shí)際中使用自然語言過程中的省略與歧義的產(chǎn)生原因的進(jìn)一步深入探索研究，對(duì)Bert模型進(jìn)行了改進(jìn)。改進(jìn)后的模型不僅輸入用戶的問題信息，同時(shí)將實(shí)景信息也融入其中。在模型的Transformer的注意力機(jī)制中，計(jì)算時(shí)需用到矩陣Q(query，查詢)、K(key，鍵值)、V(value，值)。而在改進(jìn)后的模型中，自注意力接收的是輸入(詞嵌入組成的文本嵌入矩陣)或者上一個(gè)編碼器模塊的輸出，無論是嵌入矩陣還是上一個(gè)編碼器模塊的輸出都是包含了實(shí)景信息，這樣就解決了實(shí)景信息與用戶語言信息的有機(jī)融合。

　　 項(xiàng)目組帶領(lǐng)學(xué)生進(jìn)行了大量實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明改進(jìn)后的Bert模型在實(shí)景中的對(duì)話質(zhì)量有了大幅提升，從而實(shí)現(xiàn)了基于實(shí)景語義理解的自然語言處理模型，使得人機(jī)交互技術(shù)有了突破式的“起飛跳躍”，實(shí)現(xiàn)了從理論創(chuàng)新到核心技術(shù)突破。

　　 在此研究基礎(chǔ)上，趙克教授帶領(lǐng)項(xiàng)目組結(jié)合現(xiàn)有先進(jìn)的自然語言處理技術(shù)，與實(shí)爾通合作，提出并實(shí)現(xiàn)了基于實(shí)景語義理解的軟件操作互動(dòng)幫助系統(tǒng)。

　　 軟件操作互動(dòng)幫助系統(tǒng)的特點(diǎn)

　　 操作簡便

　　 用戶只需用自然語言描述問題，就可獲得包括手勢(shì)指示信息、自然語言信息及視頻等直觀的幫助信息。

　　 界面友好

　　 用戶無需了解額外的專業(yè)知識(shí)，便可清楚明白屏幕上的所有信息、提示、指令，其界面適合各層次、各年齡的廣大群體永戶。

　　 響應(yīng)迅速

　　 系統(tǒng)采用尖端技術(shù)，對(duì)大容量數(shù)據(jù)查詢，響應(yīng)速度很快。

　　 擴(kuò)充性好

　　 具有良好的擴(kuò)充性，可隨時(shí)增加軟件功能的操作輔助內(nèi)容和數(shù)據(jù)。