眾所周知，計算機很多時(shí)候可以給我們的問(wèn)題一個(gè)很好的答案，但我們并不理解它是如何得到這些答案的。Been Kim一直在開(kāi)發(fā)一個(gè)“面向人類(lèi)的翻譯器(translator for humans)”，這樣我們就可以知道人工智能何時(shí)會(huì )失效。

 

　　如果一個(gè)醫生告訴你需要做手術(shù)，你會(huì )想知道為什么，而且你會(huì )期望自己可以理解這個(gè)解釋?zhuān)词鼓銖奈瓷线^(guò)醫學(xué)院。谷歌大腦(Google Brain)的科學(xué)家Kim認為，我們應該對人工智能抱有更高的期望。作為“可解釋”機器學(xué)習(“interpretable” machine learning)的專(zhuān)家，她希望開(kāi)發(fā)能夠向任何人解釋自己的人工智能軟件。

 

　　自從大約十年前人工智能興起以來(lái)，人工智能背后的神經(jīng)網(wǎng)絡(luò )技術(shù)使用其日益強大的學(xué)習和識別數據模式的能力，已經(jīng)改變了從電子郵件到藥物開(kāi)發(fā)的每一件事。但這種能力帶來(lái)了一個(gè)問(wèn)題：現代深度學(xué)習網(wǎng)絡(luò )的復雜性使之能夠成功地學(xué)會(huì )如何駕駛汽車(chē)和發(fā)現保險欺詐，但即便是人工智能專(zhuān)家也無(wú)法了解它內部工作的機制。如果一個(gè)神經(jīng)網(wǎng)絡(luò )被訓練來(lái)識別像肝癌和精神分裂癥這樣的病人——就像2015年紐約西奈山醫院的“深度病人(Deep Patient)”系統一樣——我們不知道神經(jīng)網(wǎng)絡(luò )關(guān)注的是數據的哪些特征。這種“知識”被加諸于許多層的人工神經(jīng)元上，每層都有成百上千的連接。

 

　　隨著(zhù)越來(lái)越多的行業(yè)試圖用人工智能實(shí)現自動(dòng)化或增強他們的決策能力，這種黑箱理論似乎顯示出根本性的缺陷。美國國防部高級研究計劃局(DARPA)的“XAI”項目(用于“可解釋的人工智能”)正在積極研究這個(gè)問(wèn)題，可解釋性已經(jīng)從機器學(xué)習研究的邊緣轉移到了它的中心。Kim說(shuō)：“人工智能正處于這個(gè)關(guān)鍵時(shí)刻，人類(lèi)正試圖考察這項技術(shù)是否對我們有益。”“如果我們不解決這一可解釋性問(wèn)題，我認為我們就不應該繼續使用這項技術(shù)。我們可能會(huì )放棄它。”

 

　　Kim和她在Google Brain的同事最近開(kāi)發(fā)了一個(gè)名為“概念激活向量測試(TCAV)”的系統，她將其描述為“面向人類(lèi)的翻譯器”，該系統允許用戶(hù)詢(xún)問(wèn)黑匣子人工智能一個(gè)特定的高層次概念在其推理中發(fā)揮了多大作用。例如，如果一個(gè)機器學(xué)習系統已經(jīng)被訓練識別圖像中的斑馬，那么一個(gè)人可以使用TCAV來(lái)確定系統在做出決定時(shí)對“條紋”概念給予了多少權重。

 

　　可解釋性是什么意思，它為什么如此重要，Kim一一給出了解答。

 

　　“可解釋性”這個(gè)詞到底是什么意思?

 

　　可解釋性有兩個(gè)分支。一種是科學(xué)的可解釋性：如果你把神經(jīng)網(wǎng)絡(luò )作為研究對象，那么你就可以進(jìn)行科學(xué)實(shí)驗來(lái)真正理解關(guān)于模型的細節、它的反應以及諸如此類(lèi)的事情。

 

　　可解釋性還有第二個(gè)分支，我主要關(guān)注的是人工智能的可解釋性。你不必了解模型的每一個(gè)細節。但是，只要你能夠理解并足夠安全地使用該工具就可以了，這就是我們的目標。

 

　　你為什么能對一個(gè)你不完全理解其工作原理的系統有信心呢?

 

　　我給你打個(gè)比方。假設我后院有一棵樹(shù)，我想砍掉它。我可能會(huì )用電鋸來(lái)做這項工作?，F在，我不完全理解電鋸是如何工作的。但手冊上說(shuō)，“這些是你需要小心的事情，以免割到你的手指。”所以，根據這本手冊，我寧愿用電鋸也不愿用手鋸，手鋸的原理容易理解，但會(huì )讓我花五個(gè)小時(shí)來(lái)砍樹(shù)。

 

　　你知道“切割”是什么，即使你不完全知道完成這個(gè)動(dòng)作的機制是什么。

 

　　對。第二個(gè)可解釋性的第二個(gè)分支是：我們能充分理解一個(gè)工具，以便安全地使用它嗎?我們可以通過(guò)確認工具中反映出的人類(lèi)已有的知識來(lái)形成這種理解。

 

　　“反映人類(lèi)知識”如何使人工智能更容易理解?

 

　　這有另一個(gè)例子。如果醫生使用機器學(xué)習模型來(lái)進(jìn)行癌癥診斷，醫生會(huì )想知道，該模型有沒(méi)有利用數據中我們不想涉及的隨機性。確保這一點(diǎn)的一種方法是確認機器學(xué)習模型正在做醫生會(huì )做的事情。換句話(huà)說(shuō)，證明醫生自己的診斷知識已經(jīng)反映在模型中。

 

　　因此，如果醫生在判斷一個(gè)細胞是否變成了癌細胞，他們可能會(huì )在標本中尋找一種叫做“融合腺(fused glands)”的東西。他們還可以考慮患者的年齡，以及患者過(guò)去是否接受過(guò)化療。這些都是醫生診斷癌癥時(shí)關(guān)心的因素。如果我們能證明機器學(xué)習模型也注意到了這些因素，那么模型就更容易理解了，因為它反映了醫生作為人類(lèi)會(huì )具備的知識。

 

　　這就是TCAV所做的嗎?它揭示了機器學(xué)習模型使用哪些高級概念來(lái)做出決策?

 

　　對。在此之前，可解釋性方法只解釋了在輸入數據的特征上，神經(jīng)網(wǎng)絡(luò )做了什么工作。也就是說(shuō)，如果您有圖像，每個(gè)像素都是一個(gè)輸入參數。事實(shí)上，Yann Lecun(一位早期的深度學(xué)習先驅?zhuān)壳笆荈acebook的人工智能研究主管)說(shuō)，你可以查看神經(jīng)網(wǎng)絡(luò )中的每個(gè)節點(diǎn)，并查看每個(gè)輸入的數值。這對電腦來(lái)說(shuō)沒(méi)問(wèn)題，但人類(lèi)不會(huì )這樣做。我不會(huì )告訴你，“哦，看看100到200像素，RGB值是0.2和0.3。”我只會(huì )說(shuō)，“有一張狗的照片，它的毛發(fā)真的很蓬松。”這就是人類(lèi)交流的方式——利用概念。

 

　　TCAV如何把輸入的數據轉化成概念?

 

　　讓我們回到使用機器學(xué)習模型的醫生的那個(gè)例子，這個(gè)機器學(xué)習模型已經(jīng)被訓練為將細胞樣本的圖像按照可能存在的癌癥分類(lèi)。作為醫生，你可能想知道“融合腺體”的概念對預測癌癥有多重要。首先，你收集一些圖像，比如20個(gè)，其中有一些含有融合腺體的細胞?，F在你將這些標記的示例插入模型中。

 

　　那么TCAV內部所做的就是所謂的“敏感性測試”，當我們將這些包含融合腺體的圖片放入模型，癌癥陽(yáng)性預測的概率會(huì )增加多少?你可以將其輸出為一個(gè)介于0和1之間的數字，這是你的TCAV得分。如果概率增加，證明這是模型的一個(gè)重要概念。如果沒(méi)有，這就不是一個(gè)重要的概念。

 

　　“概念”是一個(gè)模糊的術(shù)語(yǔ)。有沒(méi)有TCAV不能處理的概念?

 

　　如果你不能使用數據表達你的概念，那么它將無(wú)法工作。如果你的機器學(xué)習模型是在圖像上訓練的，那么這個(gè)概念必須是可視化的。比如說(shuō)，我想用視覺(jué)表達“愛(ài)”的概念，這真的很難。

 

　　TCAV本質(zhì)上是為了建立對人工智能的信任，而不是真正的理解它嗎?

 

　　不是，我們從認知科學(xué)和心理學(xué)的研究中知道，人類(lèi)很容易上當受騙。這意味著(zhù)欺騙一個(gè)人去相信某件事其實(shí)很容易。機器學(xué)習可解釋性的目標與此相反。它告訴你一個(gè)系統是否安全，重要的是找到真相而不是建立信任?？山忉屝缘闹攸c(diǎn)是揭示人工智能推理中的潛在缺陷。

 

　　它怎么能暴露自己的缺陷?

 

　　你可以使用TCAV向經(jīng)過(guò)訓練的模型測試相關(guān)的概念?；氐结t生使用人工智能進(jìn)行癌癥預測的例子，醫生們可能會(huì )突然想，“這臺機器似乎傾向于對帶有藍色陰影的圖像給出患有癌癥的預測。我們認為不應該考慮這一因素。”因此，如果帶有“藍色”的TCAV分數很高，這就成為這個(gè)機器學(xué)習模型的一個(gè)缺陷。

 

　　TCAV是針對無(wú)法解釋的機器學(xué)習模型設計的。為什么不讓系統從一開(kāi)始就可以解釋呢?

 

　　可解釋性研究的一個(gè)分支，側重于建立反映人類(lèi)推理方式的固有可解釋模型。但我的看法是：現在你在任何地方都有人工智能模型，這些模型已經(jīng)被構建，并且已經(jīng)得到重要應用，而從一開(kāi)始我們就沒(méi)有考慮過(guò)可解釋性。這就是事實(shí)。谷歌就有很多這樣的情況!你可以說(shuō)，“可解釋性是非常有用的，讓我為你建立另一個(gè)模型來(lái)取代你已有的模型。”那好吧，祝你好運。

 

　　那你怎么辦?

 

　　我們仍然需要判斷這項技術(shù)是否適合我們。這就是我為什么研究“后訓練(Posttraining)”的可解釋性方法。如果你有一個(gè)別人給你的模型，而你不能改變它，你如何去為它的行為生成解釋?zhuān)员隳憧梢园踩厥褂盟?這就是TCAV工作的意義所在。

 

　　你相信如果沒(méi)有可解釋性，人類(lèi)可能會(huì )放棄人工智能技術(shù)嗎?考慮到它的強大功能，你真的認為這是現實(shí)的可能性嗎?

 

　　是的。專(zhuān)家系統(智能計算機程序系統)就是這樣。在20世紀80年代，我們確定他們比人工操作人員執行某些任務(wù)更便宜。但現在誰(shuí)在使用專(zhuān)家系統呢?沒(méi)有人。之后我們進(jìn)入了人工智能的冬天。

 

　　因為人工智能鋪天蓋地的宣傳和資金的大量投入，現在看起來(lái)不太可能放棄人工智能。但從長(cháng)遠來(lái)看，我認為人類(lèi)可能發(fā)現——也許是出于恐懼，也許是因為缺乏證據——這項技術(shù)不適合我們。這也是可能的。

--------------------- 

作者：fadsf15 

來(lái)源：CSDN 

原文：https://blog.csdn.net/fadsf15/article/details/89922678 

版權聲明：本文為博主原創(chuàng )文章，轉載請附上博文鏈接！