深度知識的六個維度：如何讓人工智能真正理解世界？
什么知識讓我們變得聰明？我們用來理解世界、解釋新體驗和做出深思熟慮的選擇的認(rèn)知結(jié)構(gòu)是什么？定義一個闡明給人類或人工智能更深入理解和更高認(rèn)知的知識的框架，將有助于我們對此話題進(jìn)行結(jié)構(gòu)化的討論。
近日，英特爾實驗室副總裁兼緊急人工智能研究主任Gadi Singer介紹了這種賦予人工智能更高認(rèn)知的知識構(gòu)建（knowledge constructs）的數(shù)個維度，并指出一條通往更高智能機(jī)器的道路。
圖為英特爾實驗室副總裁 Gadi Singer
更高層次的機(jī)器智能的核心，可能是讓知識構(gòu)建幫助人工智能系統(tǒng)組織自己的世界觀，賦予人工智能理解意義、事件和任務(wù)的能力。如此一來，機(jī)器認(rèn)知將從數(shù)據(jù)擴(kuò)展到知識結(jié)構(gòu)，包括描述性知識、世界動態(tài)模型和起源等維度。
在學(xué)習(xí)語言時，我們要區(qū)分形式（form）和意義（meaning）：形式指的是用來表達(dá)意義的符號，也就是表面的表達(dá)。每種形式在特定的語境中都有特定的含義，而形式在不同的語境中可以有不同的含義。
正如Bengio和Sch?lkopf等人在“Towards Causal Representation Learning”一文中總結(jié)的那樣：“目前機(jī)器學(xué)習(xí)的大多數(shù)成功都是源于對適當(dāng)收集的獨立和相同分布（i.i.d）數(shù)據(jù)的大規(guī)模模式識別?！毕到y(tǒng)吸收可觀察到的元素，如文本字符、聲音信號和圖像像素，并建立模式和隨機(jī)相關(guān)性，同時在基于識別的任務(wù)中產(chǎn)生出色的結(jié)果。
論文地址：https://arxiv.org/pdf/2102.11107.pdf
越來越多的人認(rèn)為，算法必須超越表面相關(guān)性，達(dá)到真正理解的水平，從而實現(xiàn)更高水平的機(jī)器智能。這種徹底的轉(zhuǎn)變將使所謂的System 2、3rdWave或廣義/靈活的 AI 成為可能。正如Gadi Singer在核心博客“認(rèn)知人工智能的崛起”中所說的那樣，更高水平的機(jī)器智能需要深層次的知識構(gòu)建，這種知識構(gòu)建可以將人工智能從表面相關(guān)性轉(zhuǎn)化為真正理解這個世界。
美國國防部高級研究計劃局（DARPA）的 John Launchbury 指出，在第三次人工智能浪潮中，抽象（比如創(chuàng)造新的意義）和推理（規(guī)劃和決策）將掀起一場新革命。第三次浪潮本身的特點是語境適應(yīng)，即系統(tǒng)為現(xiàn)實世界的各種現(xiàn)象構(gòu)建語境解釋模型。
知識維度中有兩個維度反映了對世界的看法，一個是描述性維度，描述性維度對世界上存在的事物進(jìn)行了概念性的抽象，另一個是現(xiàn)實世界及其現(xiàn)象的動態(tài)模型。
此外，故事提升了人類在共同信仰和神話基礎(chǔ)上的理解和交流復(fù)雜故事的能力。語境和來源歸因以及價值和優(yōu)先級是元知識維度，這些維度帶來了基于條件的有效性和知識的不斷疊加。最后，概念參考是結(jié)構(gòu)基礎(chǔ)，跨維度、模態(tài)和參考而存在。
這六個知識維度結(jié)合在一起，可以讓人工智能不僅僅停留在事件相關(guān)性上，而是獲得更深入的理解，因為這六個知識維度的潛在概念是持續(xù)的，可以解釋和預(yù)測過去和未來的事件，甚至允許計劃和干預(yù)，并考慮反事實的現(xiàn)實——因此文中使用了“深度知識（deep knowledge）”一詞。
闡明和描述機(jī)器智能所需的知識構(gòu)建類型，有助于確定實現(xiàn)這種知識構(gòu)建的最佳方式，從而實現(xiàn)更高水平的機(jī)器智能。
1 支持更高水平智能的六大知識維度
對于人工智能系統(tǒng)來說，實施人類理解和交流中觀察到的知識構(gòu)建可以為智能提供實質(zhì)性的價值。當(dāng)所有的知識類型都得到支持和組合時，實際價值會大幅增長。
圖注：支持更高水平智能的知識維度。圖源：Gadi Singer/英特爾實驗室
（1）描述性知識：層次、分類和屬性繼承
描述性知識（即概念性的、命題性的或陳述性的知識）描述事物、事件、事物/事件的屬性以及其之間的關(guān)系。假設(shè)使用（適當(dāng)?shù)模╊惢蚋拍畹姆謱?，深度描述性知識就能擴(kuò)展其原本的定義。這類知識可以包括事實和記錄系統(tǒng)。與特定用例和環(huán)境相關(guān)的事實和信息可以作為層次知識進(jìn)行組織、利用和更新。
單個人工智能系統(tǒng)中使用的基礎(chǔ)本體（ontology）可以使用來自策劃系統(tǒng)的與任務(wù)相關(guān)的類和實體（例如，OpenCyc本體或AMR命名的實體類型）進(jìn)行播種。這種基礎(chǔ)本體應(yīng)該是可以通過神經(jīng)網(wǎng)絡(luò)/機(jī)器學(xué)習(xí)技術(shù)進(jìn)行擴(kuò)展——也就是說，獲取新知識就會得到新的實體，關(guān)系和類。
（2）世界模型
世界上的現(xiàn)象模型讓人工智能系統(tǒng)能夠理解情況、解釋輸入/事件以及預(yù)測潛在的未來結(jié)果并采取行動?，F(xiàn)象模型是抽象/概括，可以分為正式模型和近似（非正式）真實世界模型；現(xiàn)象模型允許在特定情況下對實例使用變量和應(yīng)用程序，并允許對特定實例或更通用的類進(jìn)行符號操作。
正式模型的例子包括邏輯、數(shù)學(xué)/代數(shù)和物理。與正式模型相比，現(xiàn)實世界的模型通常是經(jīng)驗的、實驗性的、有時甚至顯得有些混亂?，F(xiàn)實世界的模型包括物理模型、心理模型和社會學(xué)模型。程序模型（“專有知識”）包括在這個類中。
因果模型可以幫助人工智能系統(tǒng)發(fā)展更上一層樓。在語境發(fā)生變化的情況下，如果與因果關(guān)系等知識模型相結(jié)合，并理解了控制原因的語境和考慮反事實的能力，那么過去的統(tǒng)計數(shù)據(jù)就可以有效地應(yīng)用于現(xiàn)在從而預(yù)測未來。這些模型有助于從條件和可能因素的角度理解情況或事件。因果推理是人類思想不可或缺的組成部分，通過這種方式可以實現(xiàn)人類智慧級別的機(jī)器智能。
（3）故事和腳本
正如歷史學(xué)家尤瓦爾·哈拉瑞所說，故事構(gòu)成了個人和社會的文化和世界觀的關(guān)鍵部分。故事的概念對于充分理解和解釋人類的行為和交流是必要的。故事是復(fù)雜的，在一個連貫的敘述中可能包含多個事件和各種信息。故事不僅僅是事實和事件的集合，故事還包含了重要的信息，這些信息有助于發(fā)展對所呈現(xiàn)數(shù)據(jù)之外的理解和概括。與世界模型不同的是，故事可以被視為具有歷史意義、參考意義或精神意義。故事可以代表價值觀和經(jīng)歷，這些價值觀和經(jīng)歷會影響人們的信仰和行為。例子包括宗教或民族故事、神話，以及在任何層次的人群中分享的故事。
（4）語境和來源歸因
語境的定義是圍繞著某個事件并為其自圓其說提供資源的框架。語境可以看作是一種覆蓋的知識結(jié)構(gòu)，調(diào)節(jié)著它所包含的知識。語境可以是持久的，也可以是短暫的。
- 持久的語境可以是長期的（比如從西方哲學(xué)角度或東方哲學(xué)角度獲取的知識），也可以隨著時間的推移、根據(jù)新的學(xué)習(xí)材料而改變。持久語境不會對每個任務(wù)進(jìn)行更改。
- 當(dāng)特定的本地語境很重要時，瞬態(tài)語境是相關(guān)的。單詞是根據(jù)其周圍句子或段落的局部語境來解釋的。圖像中感興趣的區(qū)域通常在整個圖像或視頻的語境中得到解釋。
持久語境和瞬態(tài)語境的結(jié)合可以為解釋和操作知識提供完整的設(shè)置。
知識的另一個相關(guān)方面是數(shù)據(jù)來源（又名數(shù)據(jù)追溯），其包括數(shù)據(jù)來源、在數(shù)據(jù)傳播的過程中發(fā)生了什么以及隨著時間的推移數(shù)據(jù)將去往何方。人工智能系統(tǒng)不能假設(shè)所接收的所有信息都是正確或可信的，尤其是在被稱為“后真相時代”的情況下信息更不可輕易相信。將信息與其來源相關(guān)聯(lián)可能是建立可信性、可認(rèn)證性和可追溯性所必需的。
（5）價值和優(yōu)先級（包括善/威脅和倫理）
知識的所有方面（例如，對象、概念或程序）在整個判斷范圍內(nèi)都有相對應(yīng)的價值——從最大的善到最大的惡都有對應(yīng)?？梢约僭O(shè)，人類智力的進(jìn)化包括追求回報和避免風(fēng)險（比如，追求吃午餐；避免被當(dāng)成午餐）。這種風(fēng)險/回報的關(guān)聯(lián)與知識緊密相連。潛在的得失具有功利價值；對于實體或潛在的未來狀態(tài)，還有一種基于倫理的價值。這種基于倫理的價值反映了一種道德價值觀，即“善”不是基于潛在的有形回報或威脅，而是基于對什么是正確的潛在信念。
價值和優(yōu)先級是元知識（meta-knowledge），其反映了人工智能系統(tǒng)對知識、行動和結(jié)果相關(guān)方面的主觀斷定。這為問責(zé)制奠定了基礎(chǔ)，應(yīng)該由負(fù)責(zé)特定人工智能系統(tǒng)的人認(rèn)真處理。當(dāng)人工智能系統(tǒng)與人類互動并做出影響人類福祉的選擇時，潛在的價值和優(yōu)先級系統(tǒng)很重要。
6. 概念參考：消除歧義，統(tǒng)一和跨模態(tài)
知識是以概念為基礎(chǔ)的。例如，“狗”是一個抽象概念——一個有多個名稱（在各種語言中狗的說法都不一樣）、一些視覺特征、聲音聯(lián)想等等的概念。然而不管其表現(xiàn)形式和用法如何，“狗”這個概念都是獨一無二的?！肮贰钡母拍畋挥成涞接⒄Z單詞“dog”，以及法語單詞“chien”?！肮贰钡囊曈X特征可能如下圖：
同時“狗”也和汪汪吠叫聲對應(yīng)了起來。
概念引用（Concept Reference，簡稱ConceptRef）是與給定概念相關(guān)的所有事物的標(biāo)識符和引用集。概念引用本身實際上不包含任何知識——知識駐留在前面介紹的維度中。概念引用是多維知識庫（KB）的關(guān)鍵，因為概念引用融合了概念的所有表象。
Wikidata就是集中存儲結(jié)構(gòu)化數(shù)據(jù)的多維知識庫的一個很好的例子。在Wikidata中，項（items）代表人類知識中的所有事物，包括主題、概念和對象。Wikidata的條目與這個框架中ConceptRef的定義相似——只有一個關(guān)鍵的區(qū)別：在Wikidata中，術(shù)語“項”既指給定的標(biāo)識符，也指有關(guān)標(biāo)識符的信息；而ConceptRefs 只是帶有指向KB指針的標(biāo)識符。關(guān)于概念的信息則被填充在前面章節(jié)中描述的各種視圖中（例如與概念相關(guān)的描述性或程序性知識）。
常識
常識知識由隱性信息組成，隱性信息是指廣泛（且為大眾共享）的不成文的假設(shè)，人類自動運(yùn)用這些假設(shè)來理解世界。人工智能想要更深入地理解這個世界，將常識應(yīng)用到情境中是必不可少的。在這個框架中，常識知識被認(rèn)為是上述六種知識類型的子集。
2 理解與知識類型之間的關(guān)系
理解是智能的基礎(chǔ)。向更高級機(jī)器智能的發(fā)展引發(fā)了一場關(guān)于“理解”的討論。約書亞·本吉奧將擁有人類理解能力的人工智能描述為：
- 明白因果關(guān)系，理解世界如何運(yùn)轉(zhuǎn)；
- 理解抽象的行為；
- 知道如何使用以上知識去控制、推理和計劃，即使是在新穎的場景中也依然擁有這種能力；
- 解釋發(fā)生了什么;
- out-of-distribution（即OOD，分布外）生成。
而以知識為中心的對理解的定義是：用豐富的知識表示創(chuàng)建世界觀的能力；獲取和解釋新信息以增強(qiáng)這種世界觀的能力；以及對現(xiàn)有知識和新信息進(jìn)行有效推理、決定和解釋的能力。
這種理解觀點的先決條件是以下四種功能：
- 具備豐富的知識；
- 獲取新的知識；
- 能夠跨實體和關(guān)系連接知識實例；
- 對知識進(jìn)行推理。
理解不是二元屬性，而是因類型和程度而異。這一觀點的核心是知識的本質(zhì)及其表征——知識結(jié)構(gòu)和模型的表達(dá)能力可以促進(jìn)理解和推理能力快速發(fā)展。
想象所有的人[和機(jī)器]
正如阿爾伯特·愛因斯坦所觀察到的：“智能的真正標(biāo)志不是知識，而是想象力?！币嬲斫猓瑱C(jī)器智能必能超越數(shù)據(jù)、事實和故事。要重建，發(fā)現(xiàn)和創(chuàng)造一個可觀察屬性和事件背后的宇宙模型，想象力是必要的。從人工智能系統(tǒng)的角度來看，想象力是通過創(chuàng)造性推理實現(xiàn)的，也就是進(jìn)行歸納、演繹或溯因推理，并產(chǎn)生不受以往經(jīng)驗和輸入輸出相關(guān)性嚴(yán)格規(guī)定的新穎結(jié)果。
知識表示和推理是人工智能的一個成熟領(lǐng)域，這個領(lǐng)域處理關(guān)于世界的信息表示，使計算機(jī)系統(tǒng)能夠解決復(fù)雜的任務(wù)。知識和推理不一定是截然不同的，而是代表了一個從已知到推斷的光譜。機(jī)器理解將通過構(gòu)建知識的能力輔以先進(jìn)的相關(guān)推理（例如，概率推理和似是而非推理、溯及推理、類比推理、默認(rèn)推理等）來得到實現(xiàn)。
建立在深度知識基礎(chǔ)上的神經(jīng)符號AI
在使人工智能更有效、更負(fù)責(zé)任和更高效地為人們提供支持的過程中，我們的目標(biāo)是使人工智能系統(tǒng)更強(qiáng)大，同時推動人工智能達(dá)到更高的認(rèn)知和理解水平?？茖W(xué)家已經(jīng)在處理數(shù)據(jù)、識別模式和尋找轉(zhuǎn)瞬即逝的相關(guān)性方面取得了巨大的進(jìn)展，但仍有必要思考哪些知識類型能賦予人工智能系統(tǒng)對世界建模和理解世界的能力。
當(dāng)我們對人工智能獲得更高層次的認(rèn)知所需要的知識結(jié)構(gòu)的類型有了更深的理解時，我們就可以繼續(xù)在這個深度知識的基礎(chǔ)上進(jìn)行構(gòu)建，使機(jī)器能夠真正地理解世界。
