我們需要AI更加智能，而非擁有意識。缺乏意識，AI僅僅是人類的工具，其智能程度越高對人類越有用；反之，即使在許多方面弱于人類，只要AI具備意識，就可能對人類構成潛在威脅。但如何判斷AI是否具有意識？科學界還沒有共識性答案。好在，已經有人開始探尋了。
撰文 | 李賢煥
圖｜StableDiffusion生成圖片
人工智能（AI）是否能夠變得“有意識”？而我們又該如何判斷它是否真的具備了這種意識？很多學者和科幻作者們都思考過這個問題。
尤其在過去的兩年時間里，警報聲接連響起。包括“AI教父”Geoffrey Hinton、OpenAI的聯合創始人及首席科學家Ilya Sutskever等頂尖專家都先后表示，AI將有可能具備自我意識。
在前大模型時代，AI應用已經逐漸深入社會的角落，如人臉識別、語音識別等，這些技術看似高端復雜，實質上卻只是程序運行的結果。而程序從未真正理解自己的行為。這就是缺乏自我意識的人工智能，即使再先進，也只是完全受人類控制和指使的“木偶”。
所有人樂見其發展，這背后的語境是所有人都默認：工具有先進和落后之分，但工具永遠不會有生命。
如今，ChatGPT的故事大家應該知曉了，像一個火堆上的火苗，把實驗室里的一項前沿探索，變成了多數接入互聯網的人都能用上的神奇技術。與此同時，對于AI意識覺醒的擔憂也越來越重。
這是因為，我們需要AI更加智能，而非擁有意識。缺乏意識，AI僅僅是人類的工具，其智能程度越高對人類越有用；反之，即使在許多方面弱于人類，只要具備意識，AI就可能對人類構成潛在威脅——我們不希望算法隨意罷工，更不能接受世界被AI控制。
那么，我們就需要密切監測AI技術的發展，以防錯過AI意識覺醒的關鍵時點。
近期，包括了圖靈獎獲得者、深度學習三巨頭之一的Yoshua Bengio在內，一組由19名計算機科學家、神經科學家和哲學家組成的團隊著手探討這個問題，在近期發布的一篇長達120頁的預印本論文中，團隊提出了一種方法：用一系列復雜的參數和屬性，初步判斷一個AI是否具備意識。
尋求答案的努力才剛剛開始。
測試AI是否具有意識，亟需一張“考卷”
此次研究的背景是，即便在學術界，如何判斷AI是否具有意識，也是一個缺少定論的問題。基于神經科學的理論，通過腦電圖或磁共振成像檢測到的人類大腦內部工作信號，可以得到“人具備意識”的結論。但這套成熟的方法無法用在算法上。
于是他們基于認知神經科學的理論和認知，首先從當前的人類意識理論中提取有關有意識狀態的核心特征，然后在AI的基礎架構中尋找這些特征，以此尋求線索。
研究團隊從當前多種意識相關的理論中提取了具體特征，包括：
循環加工理論 (recurrent processing theory, RPT)：該理論認為，意識源于大腦通過“反饋循環”將經驗傳遞，利用先前知識和連接來理解當前經驗；
全局工作空間理論（global neuronal workspace，GNW）：理論解釋我們的大腦如何協調和處理同時發生的眾多信息流。在這一理論中，意識被定義為類似于心理舞臺上的聚光燈，決定我們關注什么和忽略什么；
高階理論（Higher order Thought theory, HOT）：這是一組理論，認為意識是對我們的思想和感覺進行實時感知的結果。在這里，意識被定義為能夠“思考”；
注意圖式理論（Attention Schema Theory, AST）：該理論解釋意識是大腦引導我們的注意力到特定對象、思想、記憶和其他刺激的結果，同時過濾掉其他刺激。這一理論的關鍵元素是意識到我們的注意力是如何以及在何處被引導的能力；
此外，研究人員還增加了基于預測處理的標準，即大腦基于過去經驗準確預測和解釋周圍世界的能力。這對于設計能生成創意內容或解決復雜問題的AI模型來說尤為重要；
研究團隊還制定了根據代理性評估AI的標準，即做出有意識決策的能力，以及根據實體性在物理空間或相對于其他虛擬系統的具體化程度。
基于上述核心意識理論，研究團隊制定了14個標準和具體的測量方法，然后按照這個清單評估人工智能模型。
圖｜StableDiffusion生成圖片
他們的結論是，目前市面上的AI還不具備意識。一方面，結果說明了現階段的AI能力或許還沒到能夠形成意識的階段；另一方面，在人為制造、訓練AI模型的過程中，開發者并不會有意讓AI全方面形成這些認知能力，“之所以沒有人這樣做，是因為目前尚不清楚它們對于任務是否有用。”論文作者之一Eric Elmoznino表示。
同時該研究認為，一個AI架構能夠達到的指標越多，具備意識的可能性就越大。而測試結果發現，市面上非常多模型在“循環加工理論”這個指標上完成較為出色，而ChatGPT則在“全局工作空間”方面表現突出。但總體來說，納入測試范圍的所有AI模型都只能完成少數幾個指標，由此得出沒有某一個模型能夠形成自我意識。
不過研究人員強調，此研究的初衷是引發更多問題和討論，并為談論AI模型的意識問題提供一個起點。論文合著者、舊金山非營利組織AI安全中心的Robert Long表示，這項工作為評估越來越具有人類特征的AI提供了一個框架。“我們正在引入一種之前缺失的系統性方法。”
這套測試方法的嚴謹性還需進一步的驗證，但不管后續發展如何，此舉都可以說前所未有。科學家把一套研究人類意識的理論拿來測試AI，這也是AI能力突飛猛進的一個例證，以至于科學家要為其出一套更高級的“考卷”。而在意識和認知這件事上，AI越接近人類，問題和災難就離人類更近。
如果AI擁有意識，人類的麻煩就大了
不同于學者們激烈爭論的場景，多數吃瓜群眾并沒有嚴肅地考慮過AI具備意識的問題，或是籠統地相信AI獲得意識只是時間問題，因此也并不是非常重要。科幻小說或電影在其中發揮了不小的作用，畢竟在大多數未來主題的電影中，AI都被描繪成具有意識和情感的存在。但實際上，很多人都低估了這個問題的重要性，但它卻可能決定著人類未來的走向。
與人腦有限的處理能力相比，AI的理論處理能力是無限的，能夠無差別地處理所有收集到的信息。而一旦AI獲得了意識，能像人類一樣交流、分享信息，且在效率上遠超過人類，其帶來的結果可能是，AI的智能水平將迅速提升，并可能“淘汰”包括人類在內的低智能主體——猶如智能手機的問世，將上個時代的功能機無情淘汰。
威脅會變得非常具體。Hinton在離開谷歌后不久的訪談中表示，“這些由我們創造的智能體非常強大，并且從人類身上學到所有東西，比如通過閱讀所有的小說以及馬基雅維利寫的關于如何操縱人的書，如果他們學會了如何操縱人類，你我作為人類甚至無法意識到這個過程是如何發生。你會像一個2歲的孩子被問到：‘你想要豌豆還是花椰菜？’你不會意識到你其實可以兩樣都不選，你就會變得容易被操縱。”
對于最極端的想象，Hinton表示，一旦AI、數字智能體開始開始獲得對世界的直接體驗并且學習能力加強，一段時間內數字智能可能還會乖乖和人類待著，因為它們還需要人類為他們發電，但在之后的某個時間可能就不用了。最終，人類就成為了智力進化的一個過渡階段，世界將進入一個機器的時代。
要實現這個幻想中的場景，一方面AI需要在“智能”方面繼續進化，而另一方面，也是更重要的，即AI需要具備“操縱”的目標和意圖，而目標，即是一種意識的體現。
當然了，現實可能沒有那么可怕，至少在現在。在AI“摧毀”人類社會之前，也可能引發道德倫理方面的問題。德國神經科學家、意識和神經科學領域代表人物Christof Koch曾在探討AI意識時提到一個例子：如果一個人用錘子砸爛自己的一臺車，鄰居可能會認為他瘋了，但不管怎么說，這只是他的個人財產；但如果一個人虐待自己的寵物狗，警察就會上門，道德層面的譴責也必定少不了。二者的核心區別在于，狗是有意識的，能夠感受到痛苦，而車并非有意識的主體。
而當機器成為有意識的主體，那些我們從未預想過的道德、倫理、法律和政治影響都會隨之而來。
顯然，人類社會還沒為此做好準備，其中也包括了整天研究前瞻性問題的學者。而前述研究也可以視作是學界作出的努力，在新的AI時代建立新的“圖靈測試”。
圖｜艾倫·圖靈
1950年，被譽為“計算機之父”、“人工智能之父”的艾倫·圖靈（Alan Mathison Turing），曾經以一己之力在智能領域立下了測試標準，當年發表的《機器能思考嗎？》一文中，圖靈首次提出“圖靈測試”，大膽地設想機器將擁有思考能力，并提出了測試機器智能程度的方法：通過打字機與人溝通，如果有超過30%的人在特定時間（5分鐘）內無法分辨出是人還是機器，則可認為該機器具備思考能力。這一測試方式的獨到之處在于，“意識”、“思維”、“智能”難以通過定義解釋，因此測試更直觀地以人類作為參照物，通過機器表現是否與人類難以區分來判斷其是否具備人類智能。
時至今日，“圖靈測試”仍是衡量AI智能程度的重要標尺。但一些研究者指出，這一測試手段已經過時，它過于體現人類中心主義，其設計本身也存在缺陷。同時，這一測試催生了一種欺騙性思路，即AI只要成功“欺騙”了人類，就可被視為是擁有“智能”的主體，這在某種程度上誤導了AI研究的發展方向，對“智能”的評判也并不科學。
七十年后的今天，“智能”程度也不再是人類關注機器能力的單一維度，當我們在潛在的威脅之下，開始謹慎地觀察AI是否具有自我意識的今天，學界和業界亟待一個新時代的“圖靈測試”，照亮下一個七十年的AI時代。
沒人能緊急拔掉AI的插頭
在一次訪談中，主持人向Hinton提出了一個樸素但深刻的問題：如果我們認為AI很可怕，直接拔掉它的插頭是否是一種解決辦法？
這個問題在理論上似乎可行。但Hinton認為，越是先進、聰明的AI，越是讓人們難以舍棄，而這也意味著更難以控制。
Hinton認為，停止進一步開發相關技術雖然看起來很有效，但這種想法太過天真，“即使美國停止開發，其他國家也會繼續，并將AI用于武器。”對于發出請愿書要求“停止開發人工智能”的提議，Hinton表示這也是一種天真的想法，因為實際上不可能發生。
類似的技術競賽已經上演。2017年，谷歌推出了Transformer和擴散生成模型（diffusion model），但一開始并沒有向所有人開放，谷歌一直小心謹慎，擔心可能帶來負面后果。然而，ChatGPT及其他語言模型相繼面世，谷歌只能出于競爭和利益的考量選擇跟上。
圖｜Geoffrey Hinton受訪現場
Hinton希望能夠推動美國和其他國家之間達成協議，如同各國在核武器問題上達成一致一樣。“如果讓這些技術接管了我們，對我們所有人來說都是不好的，我們都在面臨生存威脅，所以我們都應該合作。”在他的觀點里，控制AI，已經演變成為一個社會科學問題。
Ilya Sutskever 也在多個場合強調AI可能具備意識和相應的威脅。
同樣作為OpenAI的代表人物，他的言行和公司CEO Sam Altman形成了強烈的對比。尤其在OpenAI“宮斗”事件發生前，Sam Altman頻頻飛到全球各地，和各公司領導、政客握手，而Sutskever選擇了一種低調的生活方式，除了偶爾接受采訪和到學校演講外，他大部分時間都在一座不太引人注目的辦公樓里工作，然后回家休息。
這也是兩人在關于AI未來發展方面存在巨大分歧的體現。Sutskever在采訪中表示，目前他的工作中心已經不是造出下一個ChatGPT，而是致力于阻止超級AI變壞、不受控制。
從Hinton、Sutskever以及其他在做著類似努力的科學家身上，外界看到了曾經奧本海默的影子，在AI時代，努力阻止最終爆炸的發生。包括前文提到的測試在內，當學界、業界共識尚未形成，而AI能力爆炸式發展的當下，他們正在牽頭開發一套評判體系、一套AI領域的基礎設施，這些努力代表著一種秩序的開始，至少讓更多人能夠在AI的發展中遵循一定的規范，嚴謹地畫出AI未來的安全線，最終建立清晰的標準和認知。
參考鏈接
[1] https://arxiv.org/abs/2308.08708
[2] https://www.science.org/content/article/if-ai-becomes-conscious-how-will-we-know
[3] https://www.technologyreview.com/2023/10/17/1081818/why-itll-be-hard-to-tell-if-ai-ever-becomes-conscious/
[4] https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/
[5] https://www.americanbrainfoundation.org/how-will-we-know-if-ai-becomes-conscious/
[6] https://mp.weixin.qq.com/s/tazJu1C0Vy0c5xn91IRZIQ
本文受科普中國·星空計劃項目扶持
出品：中國科協科普部
監制：中國科學技術出版社有限公司、北京中科星河文化傳媒有限公司
下一篇：返回列表
【免責聲明】本文轉載自網絡，與科技網無關。科技網站對文中陳述、觀點判斷保持中立，不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考，并請自行承擔全部責任。