2023年3月29日，非營(yíng)利組織未來(lái)生命研究所（Future of Life）發(fā)表一封公開(kāi)信，呼吁暫停研發(fā)比GPT-4更強(qiáng)大的人工智能系統(tǒng)至少6個(gè)月，包括特斯拉CEO馬斯克、Stability AI的首席執(zhí)行官莫斯塔克（Emad Mostaque）等在內(nèi)的1000多名該領(lǐng)域的專家、科技人員、產(chǎn)業(yè)高層都在這封公開(kāi)信上簽了名，在這封信上， 我們也看到了一位中國(guó)科學(xué)家的名字—曾毅（中國(guó)科學(xué)院自動(dòng)化研究所人工智能倫理與治理中心主任）。

(相關(guān)資料圖)

這封公開(kāi)信，雖無(wú)法律效力，但是引起了公眾對(duì)人工智能治理的問(wèn)題的空前關(guān)注，我們特別找到曾毅主任，問(wèn)他是否方便談一下為何在這封公開(kāi)信上簽名。他回復(fù)得很果斷：“肯定可以說(shuō)，而且要說(shuō)清楚。”在對(duì)話中，我們也向他提了一個(gè)比較尖銳的問(wèn)題：“AI領(lǐng)域的技術(shù)研發(fā)落后是更可怕，還是繼續(xù)研發(fā)人工智能帶來(lái)的潛在風(fēng)險(xiǎn)更可怕？”曾毅的觀點(diǎn)很明確：“用一種競(jìng)爭(zhēng)的視角來(lái)分析這個(gè)問(wèn)題的時(shí)候就會(huì)使人不理性，中國(guó)目前的水平還沒(méi)達(dá)到GPT-4，我贊同的是發(fā)展信息處理能力接近GPT-4的大模型，但是在倫理安全治理方面的規(guī)制與思考要遠(yuǎn)遠(yuǎn)超越GPT-4這樣的大模型的研發(fā)。”

在與曾毅的對(duì)話中，我們還請(qǐng)教了以下問(wèn)題：

①如果用暫停六個(gè)月?lián)Q取時(shí)間窗口，我們最急需解決人工智能帶來(lái)的哪些負(fù)面影響？

②大模型的技術(shù)原理并沒(méi)有被完全弄清楚，就被大規(guī)模推向普通用戶，這是不是一種不負(fù)責(zé)任的做法？

③用大量數(shù)據(jù)“投喂”的訓(xùn)練方法，是否真的能讓人工智能產(chǎn)生意識(shí)？

④通過(guò)了圖靈測(cè)試，就意味著人工智能擁有了“人類智能”嗎？

⑤國(guó)內(nèi)大模型在兩三個(gè)月內(nèi)“扎堆推出”，有哪些潛在風(fēng)險(xiǎn)？

⑥應(yīng)對(duì)人工智能時(shí)代的到來(lái)，孩子們應(yīng)該從小就開(kāi)始學(xué)習(xí)人工智能課程嗎？

以下為對(duì)話內(nèi)容：

暫停超過(guò)GPT-4水平的巨型人工智能研發(fā)很有必要

騰訊科技：您在暫停超過(guò)GPT-4水平的巨型人工智能研發(fā)公開(kāi)信上簽了名，是在公開(kāi)信公布之前，就已經(jīng)收到了邀約嗎？

曾毅：在這個(gè)信發(fā)起之前，確實(shí)是通過(guò)了不同的渠道在向我們發(fā)出邀請(qǐng)。但是我真正簽字也是在它發(fā)布之后。

我之所以支持這樣一個(gè)倡議確實(shí)是基于我對(duì)現(xiàn)在人工智能的大模型快速地介入到社會(huì)服務(wù)當(dāng)中的擔(dān)憂。因?yàn)樵?/span>GPT3.5的時(shí)候，它的隱患就已經(jīng)顯現(xiàn)了。到了GPT4發(fā)布的時(shí)候，它的能力不限于文本的交互，已經(jīng)到了多模態(tài)的內(nèi)容生成，曝露出來(lái)的風(fēng)險(xiǎn)會(huì)更多。

GPT系列跟以前的人工智能的發(fā)展模式非常不一樣。以前的人工智能，比如我做一個(gè)人臉識(shí)別的系統(tǒng)，人臉的信息是什么樣的，輸出可能有多少類？其實(shí)相對(duì)來(lái)說(shuō)都是可預(yù)期的。但是現(xiàn)在GPT的數(shù)據(jù)是互聯(lián)網(wǎng)的數(shù)據(jù)，這些數(shù)據(jù)中包含“誰(shuí)說(shuō)過(guò)什么”都不可預(yù)期，另外一端誰(shuí)去問(wèn)什么問(wèn)題也不可預(yù)期。問(wèn)了問(wèn)題之后，ChatGPT的反饋是什么樣的，更不清楚。這樣一來(lái)，就至少有三重不確定性，使得未來(lái)人工智能在服務(wù)于人類社會(huì)的時(shí)候，一旦它存在潛在的風(fēng)險(xiǎn)，它將以什么樣的模式和速度去放大？這個(gè)真是非常難以預(yù)期的。

可以說(shuō)它在帶給我們超級(jí)能力的同時(shí)，帶給我們的風(fēng)險(xiǎn)也是巨大的。所以就像公開(kāi)信中提到的，我們準(zhǔn)備好了讓這樣的技術(shù)替代我們?cè)竞軡M意的工作嗎？我們準(zhǔn)備好讓這種文本生成的技術(shù)去干擾甚至替代人類的文明嗎？還有對(duì)于技術(shù)的安全倫理道德方面是不是讓它做好了準(zhǔn)備，去服務(wù)于這么廣泛的用戶？公開(kāi)信中提到的一系列的問(wèn)題，沒(méi)有一個(gè)問(wèn)題我們做好了準(zhǔn)備，但是它的大規(guī)模的應(yīng)用已經(jīng)開(kāi)始了。

所以那個(gè)時(shí)候大家說(shuō)中國(guó)應(yīng)不應(yīng)該做？我說(shuō)這個(gè)問(wèn)題不用討論，中國(guó)很快就會(huì)出來(lái)。要擔(dān)心的問(wèn)題是一個(gè)地方會(huì)有幾套大模型出來(lái)。我們現(xiàn)在這個(gè)現(xiàn)狀就是這樣的。大學(xué)里可能有兩三套大模型都是基礎(chǔ)模型，科研院所甚至更多，產(chǎn)業(yè)更是數(shù)不勝數(shù)。倒是我從來(lái)沒(méi)有發(fā)現(xiàn)某一個(gè)人工智能企業(yè)說(shuō)我絕對(duì)不做大模型。幾乎可以這樣說(shuō)，人工智能企業(yè)現(xiàn)在都在布局大模型的研究。但是，很少有人說(shuō)我們?nèi)绾稳シ婪哆@些風(fēng)險(xiǎn)。

這是那封公開(kāi)信的意義和價(jià)值。正因?yàn)槲覀儗?duì)于可能的潛在的風(fēng)險(xiǎn)還完全沒(méi)有準(zhǔn)備好，但是已經(jīng)開(kāi)始過(guò)早、過(guò)于激進(jìn)地嘗試，所以我覺(jué)得暫停6個(gè)月是必要的，先去解決潛在的風(fēng)險(xiǎn)，我們先好好地思考一下。

能力達(dá)到GPT4這個(gè)層次的大模型已經(jīng)能夠滿足我們很多的需求，那么我們要不要先做基于不超越GPT-4這個(gè)能力的產(chǎn)業(yè)化的應(yīng)用，然后同步地解決它潛在的問(wèn)題？但是，比它性能再高等的人工智能的大模型是不是能先暫緩？我覺(jué)得這個(gè)既是這封信的初衷，也是我簽這封公開(kāi)信的動(dòng)機(jī)。

騰訊科技：是不是中國(guó)還沒(méi)到GPT-4的水平，我們可以先繼續(xù)？

曾毅：我認(rèn)為是這樣的。目前中國(guó)沒(méi)有任何一個(gè)人工智能的大模型達(dá)到GPT-4的能力，所以我贊同的是發(fā)展信息處理能力接近GPT-4的大模型，但是在倫理安全治理方面的規(guī)制與思考遠(yuǎn)遠(yuǎn)超越GPT-4這樣的大模型的研發(fā)。

騰訊科技：那為什么是6個(gè)月？如果做這些準(zhǔn)備，6個(gè)月夠嗎？

曾毅：我覺(jué)得6個(gè)月是一個(gè)倡議，6個(gè)月是一個(gè)可以嘗試的時(shí)段。能夠取得一定的效果一定比不做準(zhǔn)備要強(qiáng)很多。但是，我們?cè)?/span>6個(gè)月之內(nèi)，我們是否能夠充分思考相關(guān)的風(fēng)險(xiǎn)，并做到防范？我覺(jué)得不是，這個(gè)是不夠的。

這封信當(dāng)中也講了至少暫停6個(gè)月，盡可能地解決這個(gè)問(wèn)題。最關(guān)鍵的是它里面提到了一個(gè)倡議，大家是不是能夠坐下來(lái)去開(kāi)發(fā)公共的人工智能安全協(xié)議，倫理道德檢測(cè)的框架，以使得為未來(lái)做好準(zhǔn)備。我覺(jué)得如果是6個(gè)月之內(nèi)把我們潛在的倫理道德的問(wèn)題解決了，也許可以嘗試構(gòu)造這樣的安全協(xié)議檢測(cè)的框架，解決其中現(xiàn)有的絕大部分的問(wèn)題，我覺(jué)得還是有希望的。

騰訊科技：如果這6個(gè)月內(nèi)要解決這些您認(rèn)為潛在的風(fēng)險(xiǎn)問(wèn)題，哪類風(fēng)險(xiǎn)我們最需要先解決？這個(gè)有沒(méi)有一個(gè)產(chǎn)業(yè)界認(rèn)可的框架？

曾毅：我覺(jué)得人工智能大模型它對(duì)于人類非常直接的傷害形態(tài)是顯而易見(jiàn)的。第一，人工智能大模型對(duì)于整個(gè)社會(huì)的沖擊最大的是對(duì)社會(huì)信任的沖擊。現(xiàn)在你看的，眼見(jiàn)不為實(shí)，耳聽(tīng)也不為實(shí)。什么信息當(dāng)你看到的時(shí)候，你的第一反應(yīng)就是這是真的嗎？這是人工智能生成的吧？你會(huì)有這樣的認(rèn)知。所以，它對(duì)社會(huì)信任本身是一個(gè)極大的挑戰(zhàn)。就是如何去降低對(duì)社會(huì)信任的沖擊？我覺(jué)得這個(gè)是最嚴(yán)重的問(wèn)題，它將改變幾代人。

另外，關(guān)乎到個(gè)人利益的部分風(fēng)險(xiǎn)要注意。既然大模型是基于互聯(lián)網(wǎng)數(shù)據(jù)，但是互聯(lián)網(wǎng)很多數(shù)據(jù)確實(shí)難免涉及個(gè)人隱私數(shù)據(jù)，如何避免對(duì)個(gè)人權(quán)利的侵犯？我覺(jué)得這是個(gè)很大的問(wèn)題。你用別人的照片去做生成，有沒(méi)有經(jīng)過(guò)別人的允許？你甚至拿已故的人的數(shù)據(jù)做一些生成，這對(duì)于家庭可能的影響，對(duì)于死者是不是尊重？這些已經(jīng)變成非常緊迫的問(wèn)題了。

另外就是人工智能生成的技術(shù)。我覺(jué)得最需要避免的問(wèn)題就是混淆人與人工智能之間的邊界。比如說(shuō)我能不能跟人工智能談戀愛(ài)？有些人說(shuō)未來(lái)一代，也許可能不會(huì)聽(tīng)老師說(shuō)什么，不會(huì)聽(tīng)家長(zhǎng)說(shuō)什么，而只會(huì)相信類ChatGPT的產(chǎn)品說(shuō)了什么，什么問(wèn)題都去問(wèn)ChatGPT類似的產(chǎn)品。這樣的話，我會(huì)覺(jué)得問(wèn)題就非常大了。

為什么？因?yàn)槿祟惖膬r(jià)值觀、對(duì)于世界的理解，這種傳承應(yīng)該是在人與人之間的，如果你混淆了人與人之間的邊界，你說(shuō)ChatGPT也是一種觀點(diǎn)，甚至有些人說(shuō)我做這個(gè)數(shù)字人，這是人的另外一種存在的形式。我覺(jué)得這些都是非常危險(xiǎn)的觀點(diǎn)。為什么？首先人工智能現(xiàn)在沒(méi)有真正的自我，沒(méi)有自我的意識(shí)，你怎么能說(shuō)它是一種人的存在形式？有些人說(shuō)它是數(shù)字克隆，那對(duì)于人類的克隆，難道它只是把人類一些表征的特征克隆下來(lái)就是真正意義上的人類的克隆了嗎？我覺(jué)得這些都是在混淆人與人工智能之間的邊界。這是一個(gè)非常大的風(fēng)險(xiǎn)。

更關(guān)鍵的是，未來(lái)人與人工智能之間的這種交互可能對(duì)社會(huì)道德存在潛在的沖擊。我覺(jué)得這個(gè)也是非常危險(xiǎn)的。我們要傳遞什么樣的價(jià)值觀給我們的下一代？比如我們以新聞媒體行業(yè)為例，之所以大家會(huì)去看記者寫(xiě)的東西，我覺(jué)得兩件事情很重要：第一個(gè)是真實(shí)客觀；第二個(gè)就是媒體記者通過(guò)自己的職業(yè)素養(yǎng)，可以去傳遞他對(duì)社會(huì)的認(rèn)知與分析。我覺(jué)得這些東西是人工智能無(wú)法替代的，因?yàn)槿斯ぶ悄墁F(xiàn)在還沒(méi)有真正的理解能力。

還有就是對(duì)于信息真實(shí)的程度的判斷，人都有基本的判斷力，會(huì)基于常識(shí)做更多的思考。但是對(duì)于機(jī)器來(lái)講就很難了。人工智能模型會(huì)認(rèn)為互聯(lián)網(wǎng)上所說(shuō)的事情99%是真的。

所以基于以上種種情況，我覺(jué)得人工智能技術(shù)每往前發(fā)展一步，它對(duì)于倫理安全方面的考慮也需要進(jìn)一步。這個(gè)準(zhǔn)備我覺(jué)得現(xiàn)在不是選擇題，而是必答題，每一個(gè)賦能社會(huì)的人工智能技術(shù)，都需要有倫理安全道德的框架的約束。

騰訊科技：除了用法律框架和治理框架來(lái)約束人工智能的發(fā)展，還有什么技術(shù)手段可以實(shí)現(xiàn)和人類真正意義上的價(jià)值對(duì)齊？

曾毅：我覺(jué)得構(gòu)造看似智能信息處理工具（生成式AI）的這條發(fā)展道路它會(huì)繼續(xù)。但是，它不是唯一的道路。人工智能大模型未來(lái)的發(fā)展，有了倫理道德的約束、有了管理規(guī)定標(biāo)準(zhǔn)、甚至是法律，這些是不是就夠了？從技術(shù)落地的層次來(lái)講，肯定是不夠的。這些東西怎么技術(shù)化？怎么把它實(shí)現(xiàn)在人工智能的系統(tǒng)當(dāng)中？這有不同的選擇。比如你現(xiàn)在可以和人工智能大模型去對(duì)話，這些隱含倫理道德風(fēng)險(xiǎn)的問(wèn)題可以用評(píng)測(cè)的方式去評(píng)測(cè)它，讓它去回避可能會(huì)對(duì)人類產(chǎn)生負(fù)面影響的答案。

另一方面就是大模型本身。即使你用測(cè)評(píng)的方式、規(guī)則的方式限制它可能回答問(wèn)題的類型或者是回答問(wèn)題的方式，但這并不能證明大模型本身就理解了這個(gè)內(nèi)容。它既然沒(méi)理解，你就很可能會(huì)繞過(guò)它防范的方式，使得它去回答你想讓它回答的一些問(wèn)題。現(xiàn)在這種嘗試很多。ChatGPT不能回答什么問(wèn)題，道德上規(guī)定它不要回答哪些問(wèn)題，大家就換其他的途徑去勾引它回答哪些問(wèn)題。很多成功的例子。這就證明這種防范不是完全有效的。

所以說(shuō)未來(lái)人工智能只有具備真正的道德的基礎(chǔ)，道德的直覺(jué)，具備道德推理的能力，真正理解為什么人類采用這樣的道德規(guī)范，而不是用規(guī)則灌輸給它，那它才能真正地實(shí)現(xiàn)我們說(shuō)的有道德的人工智能。

我們現(xiàn)在希望人工智能秉持人類的道德規(guī)范，但是我們也要知道人類的道德規(guī)范也是在不斷地演化的。所以，人工智能作為人類的一面鏡子去演化，能夠幫助我們?nèi)祟惛玫乜辞逦覀內(nèi)祟惖奈磥?lái)，所以，我不覺(jué)得只要滿足于人類道德的約束就是人工智能道德的終點(diǎn)。人與人工智能的希望達(dá)到的理想的共生狀態(tài)應(yīng)當(dāng)是人工智能的演化，也能幫助人類的進(jìn)步，也使得人類的倫理道德的框架不斷地演進(jìn)。

騰訊科技：回到這封公開(kāi)信，您在國(guó)內(nèi)也做了一個(gè)調(diào)查，您覺(jué)得我們現(xiàn)在在AI領(lǐng)域的技術(shù)研發(fā)落后是更可怕，還是說(shuō)繼續(xù)無(wú)止境地研發(fā)更可怕？

曾毅：當(dāng)人們?nèi)ニ伎既绻也话l(fā)展是不是就落后了，采用一種競(jìng)爭(zhēng)的視角來(lái)分析這個(gè)問(wèn)題的時(shí)候就會(huì)使人不理性。我們做的關(guān)于暫停人工智能大模型研究的這個(gè)調(diào)研現(xiàn)在大概有一千多人通過(guò)互聯(lián)網(wǎng)參與，遍布全國(guó)各個(gè)省市。總體的觀點(diǎn)來(lái)講現(xiàn)在是挺明顯的。大概有將近40%的人是同意暫停人工智能大模型研究的；大概有25%的人是不同意暫停人工智能大模型研究的；有大概5%的人認(rèn)為應(yīng)該暫停所有人工智能大模型的研究 ，先把它的倫理安全框架做好。還有大概百分之十幾、二十的人會(huì)認(rèn)為你暫停大模型也沒(méi)啥用，這個(gè)問(wèn)題反正也不那么容易解決。

這是一個(gè)基本的統(tǒng)計(jì)。但是讓我看來(lái)很欣慰的是在人工智能的大模型的研究者里，有25%以上的人會(huì)認(rèn)為現(xiàn)在暫停超越GPT-4能力的大模型的研究是很有意義的事情。他們作為利益的最相關(guān)者有將近四分之一的人是贊同的，這個(gè)是值得關(guān)注的。

另外，有很多人不是研究人工智能大模型的，但是他是人工智能的研究者，可能走的是不同的路徑。這一部分人同意暫停人工智能大模型的比例顯著是更多的。所以，我們也可以看到當(dāng)你走出人工智能大模型的利益相關(guān)方來(lái)看，更理性地來(lái)分析這個(gè)問(wèn)題，離人工智能界越遠(yuǎn)的人對(duì)于暫停人工智能大模型越認(rèn)可。比如人文社科領(lǐng)域、認(rèn)知科學(xué)與心理學(xué)領(lǐng)域的人，認(rèn)同暫停人工智能大模型的會(huì)更多。人文社科領(lǐng)域的學(xué)者更關(guān)切的這些，比例顯著高于人工智能的從業(yè)者。這個(gè)也對(duì)于像我這樣的人工智能的從業(yè)者也提出一種警醒，就是發(fā)展技術(shù)的同時(shí)關(guān)注社會(huì)的影響。

騰訊科技：您的同行有沒(méi)有跟您爭(zhēng)論過(guò)這件事？

曾毅：有的。甚至有像我一樣同時(shí)從事技術(shù)研究，但是也關(guān)注人工智能倫理的學(xué)者表示了不同意見(jiàn)。他們覺(jué)得暫停不能解決問(wèn)題，你就盡可能地快速地通過(guò)技術(shù)治理的方式解決問(wèn)題就好了，而不是說(shuō)暫停下來(lái)它的研究。

但是，我的看法仍然是這樣的，如果說(shuō)GPT-4這樣能力的信息處理工具的潛在風(fēng)險(xiǎn)已經(jīng)讓我們焦頭爛額了，每天都出現(xiàn)人工智能給大家惹的麻煩，現(xiàn)在幾乎可以這樣說(shuō)。那如果我們真的沒(méi)有準(zhǔn)備好，我們是不是可以先把它的已知風(fēng)險(xiǎn)解決掉再去繼續(xù)？但是我想不同的人有不同的出發(fā)點(diǎn)，不管是不是暫停，發(fā)展人工智能技術(shù)不管它達(dá)沒(méi)達(dá)到GPT-4的能力，開(kāi)展倫理安全框架的研究，并且在研制的過(guò)程中就把倫理安全框架內(nèi)置到這個(gè)模型當(dāng)中，在提供服務(wù)之前完全地融合和充分地考慮倫理安全的風(fēng)險(xiǎn)，并完善這個(gè)倫理安全的測(cè)試，我覺(jué)得至少這樣做是特別必要的，比之前只是發(fā)展它的信息處理能力要強(qiáng)得多。

騰訊科技：公開(kāi)信的約束力有多大？它只是給人一種影響和一種倡議？

曾毅：我們可以看到簽這個(gè)公開(kāi)信背后的科學(xué)家們做出了非常負(fù)責(zé)任地選擇。我們?cè)诠_(kāi)信簽名的作者當(dāng)中既可以看到人工智能的圖靈獎(jiǎng)的獲得者Yoshua Bengio，也可以看到老一代的人工智能的開(kāi)拓者，比如說(shuō)伯克利大學(xué)的Stuart Russell教授，以及關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)提出者John Hopfield教授，他們都是最了解神經(jīng)網(wǎng)絡(luò)進(jìn)展的人，但是為什么大家做出共同的選擇？一方面我想是一個(gè)價(jià)值觀的倡導(dǎo)。但是它的作用方面，我想通過(guò)這個(gè)公開(kāi)信是團(tuán)結(jié)了大家共同去研發(fā)它的安全倫理的協(xié)議和檢測(cè)的平臺(tái)，使得在學(xué)術(shù)和產(chǎn)業(yè)界當(dāng)中不僅僅是通過(guò)這個(gè)事件提升公眾的意識(shí)，更關(guān)鍵的是促成采取行動(dòng)，至于這個(gè)問(wèn)題本身是不是由于暫停來(lái)解決的？我覺(jué)得只要這個(gè)問(wèn)題解決了，哪怕說(shuō)企業(yè)界自己把這個(gè)問(wèn)題解決了，假設(shè)說(shuō)兩個(gè)禮拜就能解決，我相信這些學(xué)者也了樂(lè)見(jiàn)其成。所以，我覺(jué)得它的目的是幫助我們?nèi)ソ鉀Q問(wèn)題，它的約束力是很低的。

但是據(jù)我所知，我們已經(jīng)有相關(guān)的學(xué)者在盡其所能地聯(lián)絡(luò)不僅僅是國(guó)內(nèi)的，也有國(guó)外的企業(yè)，希望做出更負(fù)責(zé)任的共同承諾。所以我想它已經(jīng)成為一個(gè)公眾關(guān)注的事件，已經(jīng)發(fā)揮了一定的作用，已經(jīng)引起了人工智能大模型研究者的重視。我們下面希望看到的是產(chǎn)學(xué)研界協(xié)同采取行動(dòng)。一方面是構(gòu)建安全倫理框架，并實(shí)施安全倫理框架。第二個(gè)是從源頭創(chuàng)新上提出真正能夠?qū)崿F(xiàn)有道德的人工智能的科學(xué)的進(jìn)展，才是真正對(duì)人類來(lái)說(shuō)負(fù)責(zé)任的創(chuàng)新，負(fù)責(zé)任的行為，我們才能真正憧憬人類與人工智能和諧共生的未來(lái)。

騰訊科技：未來(lái)在人工智能治理方面，公司、科研機(jī)構(gòu)、和國(guó)家都分別應(yīng)該承擔(dān)哪些責(zé)任？

曾毅：首先人工智能的發(fā)展，特別是生成式人工智能的發(fā)展和應(yīng)用確實(shí)是一個(gè)多利益相關(guān)方治理的框架。首先要開(kāi)發(fā)一套人工智能的產(chǎn)學(xué)研方要進(jìn)行治理自治的框架。先把能避免的問(wèn)題盡量避免掉。第二步就是在人工智能管理的層面是一定要有規(guī)制的。所以你看到我們國(guó)家網(wǎng)信辦在去年發(fā)布的《互聯(lián)網(wǎng)信息深度合成管理規(guī)定》和前幾天發(fā)布的《生成式人工智能管理辦法意見(jiàn)草案征求意見(jiàn)稿》都是在這樣的背景下誕生的，也是多部委協(xié)作的機(jī)制。

人工智能的監(jiān)管是一個(gè)機(jī)制復(fù)合體，相關(guān)部門(mén)例如科技部、工信部、網(wǎng)信辦，甚至我們的安全部門(mén)都發(fā)揮著不同的作用。我想更關(guān)鍵的是，來(lái)自公眾的力量非常關(guān)鍵，人工智能的發(fā)展一旦引起了社會(huì)的問(wèn)題，來(lái)自于公眾的反饋，來(lái)自于媒體的反饋，這些對(duì)于人工智能的自律自治、頂層監(jiān)管是一個(gè)非常必要、甚至未來(lái)有可能是主導(dǎo)性的互補(bǔ)。

面對(duì)大模型技術(shù)的“黑箱”，我們應(yīng)該警惕些什么？

騰訊科技：OpenAI的創(chuàng)始人承認(rèn)并沒(méi)有完全搞懂ChatGPT的運(yùn)行原理，就把它推向了普通的用戶、推向了大規(guī)模的應(yīng)用，這是不是一種不負(fù)責(zé)任的做法？

曾毅：我覺(jué)得他們這樣做的另外一個(gè)初衷是去收集大量的人類反饋來(lái)完善他們的創(chuàng)造。所以，你能夠明白它為什么要公開(kāi)？包括商機(jī)，我想這個(gè)都是明顯地來(lái)自于他們的訴求。但是你講它是不是已經(jīng)做了它應(yīng)該做的負(fù)責(zé)任的行為，它在2022年初就完成了ChatGPT的研發(fā)，花了幾個(gè)月的時(shí)間去做測(cè)試，應(yīng)該說(shuō)已經(jīng)做出了初步的努力，它很顯然不夠，因?yàn)楫?dāng)他們把這個(gè)技術(shù)擴(kuò)散在互聯(lián)網(wǎng)上的時(shí)候相關(guān)的隱患就已經(jīng)出現(xiàn)了，也就證明準(zhǔn)備還是不充分的。所以，也就證明了暫停6個(gè)月大模型的倡議的價(jià)值。

我想未來(lái)的人工智能企業(yè)確實(shí)是需要更負(fù)責(zé)任地創(chuàng)新。可以看到我們國(guó)內(nèi)大模型的研究機(jī)構(gòu)所發(fā)布的大模型幾乎是在二三月份的時(shí)候開(kāi)始宣布，到四月份就發(fā)布，它們經(jīng)過(guò)的倫理安全檢測(cè)就更少。所以我特別希望能提醒相關(guān)領(lǐng)域的企業(yè)和服務(wù)方，我們做的不僅僅是變革社會(huì)的工具，更關(guān)鍵的是賦能社會(huì)發(fā)展的平臺(tái)，這個(gè)時(shí)候?qū)τ谏鐣?huì)的責(zé)任，我們別無(wú)選擇、必須承擔(dān)。

騰訊科技：您認(rèn)為“大力出奇跡”的人工智能大模型發(fā)展路徑，是可持續(xù)的最優(yōu)路徑嗎？

曾毅：我印象中有一次跟領(lǐng)域內(nèi)學(xué)者的討論，大家當(dāng)時(shí)說(shuō)人類處于一個(gè)轉(zhuǎn)折點(diǎn)，我們現(xiàn)在甚至可以扮演上帝的角色，因?yàn)橐郧笆巧系蹃?lái)設(shè)計(jì)人，現(xiàn)在是我們?nèi)丝梢栽O(shè)計(jì)未來(lái)的人工智能。我很難贊同這樣的觀點(diǎn)。為什么這樣說(shuō)？如果人工智能模擬人腦的演化過(guò)程，經(jīng)歷的是物競(jìng)天擇、適者生存，和大自然和諧共處，基于此來(lái)延展未來(lái)的人工智能，是比較安全的。

而現(xiàn)在，從一個(gè)隨機(jī)的神經(jīng)網(wǎng)絡(luò)開(kāi)始讓它跟環(huán)境交互、自主演化，最終人類犯過(guò)的錯(cuò)誤它都可能犯一遍。如果它在一個(gè)模擬環(huán)境中，把所有犯過(guò)的錯(cuò)誤都犯一遍，那還好。但是，如果把它放到真實(shí)的環(huán)境中跟人去交互，跟生態(tài)去交互，它犯錯(cuò)的過(guò)程帶來(lái)的風(fēng)險(xiǎn)和隱患就直接作用于人了。

所以，我覺(jué)得以大規(guī)模數(shù)據(jù)驅(qū)動(dòng)的方式構(gòu)造的只能是智能信息處理的工具，再發(fā)展下去就是看上去超級(jí)智能的工具，但是，它沒(méi)有自我、也不會(huì)產(chǎn)生意識(shí)，也很難成為所謂的人類的伙伴或者是社會(huì)準(zhǔn)成員。

我認(rèn)為人工智能發(fā)展到現(xiàn)在，其實(shí)跟人工智能最早的愿景已經(jīng)非常不一樣了，在達(dá)特茅斯會(huì)議上，關(guān)于人工智能愿景（補(bǔ)充英文）原文講的是“人類智能的方方面面都能夠被精確地描述，并且我們用機(jī)器能夠模擬人類智能的方方面面的話，就可以認(rèn)為這樣的機(jī)器具有人工智能”。

但是我們現(xiàn)在看產(chǎn)業(yè)界的人工智能，其實(shí)是有大規(guī)模的數(shù)據(jù)，有所預(yù)期的輸出形式，然后用一種數(shù)學(xué)優(yōu)化的方式去擬合數(shù)據(jù)從輸入到輸出之間的關(guān)系。但是，機(jī)器中間處理的過(guò)程可以跟“人類智能”沒(méi)有任何關(guān)系。

如果偏要把它叫做人工智能的話，我把它叫做data intensive的AI，就是數(shù)據(jù)智能。但是真正的人工智能首先最重要的恐怕不是數(shù)據(jù)，而是機(jī)制。人類的大腦經(jīng)歷了數(shù)億年演化，它不是短期學(xué)習(xí)的結(jié)果。如果機(jī)器能在不同尺度刻畫(huà)智能的方方面面，模仿它的機(jī)制，這樣才是最初定義的真正意義上的人工智能。這樣的模擬人腦的人工智能，擁有人類數(shù)億年演化的經(jīng)驗(yàn)，受這個(gè)啟發(fā)構(gòu)造的人工智能也能避免很多潛在風(fēng)險(xiǎn)。

騰訊科技：目前沒(méi)有人能解釋為什么被投喂過(guò)這么多數(shù)據(jù)之后，人工智能會(huì)出現(xiàn)“涌現(xiàn)能力”，即使這樣，您也認(rèn)為人工智能不能產(chǎn)生意識(shí)嗎？

曾毅：我認(rèn)為目前所謂的涌現(xiàn)其實(shí)還是一種誤解。應(yīng)該說(shuō)以前的人工智能的模型從來(lái)沒(méi)有基于如此大規(guī)模、如此多模態(tài)的數(shù)據(jù)進(jìn)行訓(xùn)練，產(chǎn)生如此多的參數(shù)，意義是什么？其實(shí)是應(yīng)對(duì)不確定性。所以只管感受，我們覺(jué)得它能回答很多復(fù)雜的問(wèn)題。其實(shí)這種能力首先來(lái)自于數(shù)據(jù)本身，互聯(lián)網(wǎng)級(jí)別的數(shù)據(jù)，基本能覆蓋正常人能想到的所有問(wèn)題。它利用這種統(tǒng)計(jì)的顯著性，再加上一定的隨機(jī)的變量產(chǎn)生的答案會(huì)讓你覺(jué)得在別的地方?jīng)]太看到過(guò)。這是一個(gè)基礎(chǔ)。

至于說(shuō)它表現(xiàn)出來(lái)的不可預(yù)期性，我總體上感覺(jué)目前大家還是有點(diǎn)想多了。基于統(tǒng)計(jì)顯著性，隨機(jī)生成的能力，它的表現(xiàn)力是非常豐富的，但是即使如此，這并不代表著模型本身真正產(chǎn)生了所謂的理解能力。對(duì)于ChatGPT來(lái)講，首先剛才我們說(shuō)了統(tǒng)計(jì)的顯著性發(fā)揮了重要的作用，大規(guī)模的數(shù)據(jù)作為一個(gè)基礎(chǔ)，人類反饋的強(qiáng)化學(xué)習(xí)使得它的答案不是最優(yōu)，而是更接近人類的期望。

背后其實(shí)還有很多的規(guī)則。比如你讓它分析問(wèn)題，它總是分為兩類——這個(gè)事情有正面的意義，也有反面的意義。從正面列幾條原因，反面來(lái)列幾條原因。這其實(shí)在背后都是有人工的模板的。所以你會(huì)覺(jué)得“ChatGPT好理性啊”。但是人的話反而并不是那樣的。很多時(shí)候人會(huì)持一個(gè)明確的觀點(diǎn)，反應(yīng)出你的信念。

人與人工智能的危險(xiǎn)關(guān)系

騰訊科技：那到底如何測(cè)量這個(gè)機(jī)器是不是真的聰明？之前我們有圖靈測(cè)試，現(xiàn)在我們可能看到越來(lái)越多的報(bào)道說(shuō)某個(gè)人工智能研發(fā)通過(guò)了圖靈測(cè)試，圖靈測(cè)試還有效嗎？

曾毅：首先當(dāng)圖靈在寫(xiě)《Computing machinery and intelligence》這個(gè)文章的時(shí)候就講到，測(cè)試智能的方式應(yīng)該是多種多樣的。對(duì)話的方式只是其中的一種方式。換句話說(shuō)我并不認(rèn)為ChatGPT通過(guò)了圖靈測(cè)試。你讓接觸過(guò)ChatGPT的很多人再去看人的回答和ChatGPT的回答的時(shí)候，其實(shí)他是很容易區(qū)分出來(lái)人和ChatGPT的回答的。因?yàn)?/span>ChatGPT的回答過(guò)于接近人類的需求，看上去過(guò)于完美，使得很容易分辨這是不是來(lái)自一個(gè)“真人”的回答。

人工智能的“智能程度”未來(lái)到底用什么去衡量？首先圖靈自己就不覺(jué)得“圖靈測(cè)試”是唯一的方式。他文章結(jié)尾就談到你還可以構(gòu)造一個(gè)小機(jī)器人，讓它學(xué)習(xí)如何認(rèn)識(shí)世界的事物，可以用這種方式去衡量一個(gè)智能。所以，智能的衡量本身就不存在黃金的標(biāo)準(zhǔn)。

但是，如果說(shuō)與人類的智能相類比，認(rèn)知學(xué)家提出的“多元智能”的理論就講了人類的智能是方方面面的，而且人類不擅長(zhǎng)做所有的事情，他可能有些方面表現(xiàn)得是很突出的。比如有些人數(shù)學(xué)抽象思維能力很強(qiáng)，但是他可能藝術(shù)方面不一定很強(qiáng)。所以，多元智能的理論講到了人類的智能方方面面，不需要特別完美，有些方面可能非常突出，但是某一方面的突出也不能推斷出來(lái)它在其他方面也很突出。我覺(jué)得未來(lái)人工智能如果成為社會(huì)的準(zhǔn)成員，我們期望的也并不是一個(gè)在方方面面都超越人類的社會(huì)的準(zhǔn)成員。

我覺(jué)得“有缺點(diǎn)”的人工智能可能從一個(gè)自私的人類來(lái)看似乎比什么方面都比人類強(qiáng)的人工智能在社會(huì)的接受度上也許會(huì)更高一些。所以，我不覺(jué)得通過(guò)所謂的圖靈測(cè)試是一件非常可怕的事情。它是盡早地讓我們意識(shí)到了所謂的圖靈測(cè)試的局限性。但是另一方面我也不覺(jué)得我們有必要去尋求這樣的黃金的標(biāo)準(zhǔn)，反而是多元的智能理論它告訴我們智能的本質(zhì)是在于自適應(yīng)性，是在于多元的發(fā)展。我覺(jué)得這些可能會(huì)更重要。

騰訊科技：所以我們和ChatGPT談戀愛(ài)是永遠(yuǎn)不可能做到的是嗎？

曾毅：ChatGPT回答問(wèn)題會(huì)說(shuō)“我認(rèn)為、我想”，但是，它說(shuō)的這個(gè)“我”是不存在的。因?yàn)樗f(shuō)的這個(gè)“我”其實(shí)只是一個(gè)符號(hào)的象征。你可以認(rèn)為這是程序給它的一種模式。所以，它沒(méi)有真正的自我感知的能力，也很難在這個(gè)基礎(chǔ)之上發(fā)展出來(lái)這個(gè)自我的意識(shí)。你剛才講到我們未來(lái)是不是可以跟ChatGPT談戀愛(ài)？它可以假裝跟你談戀愛(ài)，但是它沒(méi)有自我，沒(méi)有真正的感受。我會(huì)認(rèn)為現(xiàn)在的GPT家族的技術(shù)確實(shí)是看似相當(dāng)智能的信息處理，這種用戶體驗(yàn)會(huì)越來(lái)越極致，但是，它仍然是看似智能的信息處理，仍然不是真正意義上的“理解”。

騰訊科技：未來(lái)人與人工智能應(yīng)該是什么樣的關(guān)系？

曾毅：如果把技術(shù)發(fā)展脈絡(luò)放到更長(zhǎng)的歷史當(dāng)中來(lái)看，它總是使人回歸到人應(yīng)當(dāng)在的這個(gè)位置上，或者是把人類解放出來(lái)做更具創(chuàng)造性的工作。但是，現(xiàn)在人工智能進(jìn)展的方式是蠻力的替代。在相關(guān)工作還沒(méi)有完全準(zhǔn)備好的時(shí)候，人工智能以一種試探、嘗試的方式去改變社會(huì)，社會(huì)現(xiàn)在是一種被動(dòng)的方式去應(yīng)對(duì)，而不是我們所期待的主動(dòng)地去迎接技術(shù)的變革，更多的人是疲于應(yīng)對(duì)的。

所以，有些人會(huì)以仇視技術(shù)的方式去變革反饋，我覺(jué)得它的根源在于獲得技術(shù)賦能的這些變革者如何幫助社會(huì)做出更自適應(yīng)的過(guò)程，使得這個(gè)社會(huì)能夠更好地接受這樣的技術(shù)。我們作為技術(shù)創(chuàng)新者不能止步于“我做出來(lái)，讓我們看看技術(shù)能給我們的社會(huì)帶來(lái)什么樣的改變”，你要幫助這個(gè)社會(huì)去適應(yīng)，幫助這個(gè)社會(huì)去找到人類的價(jià)值。我覺(jué)得人類的價(jià)值一定不止步于未來(lái)給人工智能提供更多標(biāo)注的數(shù)據(jù)，它一定是使得人類回到人類該做的工作上去。

我記得在一次訪談節(jié)目中，節(jié)目中有很多父親母親，當(dāng)時(shí)就講到未來(lái)人工智能會(huì)不會(huì)把大家工作都替代了？我當(dāng)時(shí)就講到一個(gè)觀點(diǎn)，也許未來(lái)我們需要重新定義“什么叫做工作”，“我們和工作之間的關(guān)系”，“人是不是通過(guò)工作來(lái)證明自己的價(jià)值”？以前不被認(rèn)為是工作的一些事情未來(lái)可能成為新的工作類型。比如說(shuō)在家里照顧自己的孩子，照顧家里的老人，從事一些社會(huì)服務(wù)，可能都是未來(lái)的工作形態(tài)，這些工作需要人類的情感交互，這是人工智能最難去替代的。復(fù)雜的情感交互恐怕只有人能夠勝任。而且，它使得我們?nèi)苏嬲氐搅巳说谋疚弧：芏鄷r(shí)候?qū)τ诩彝コ蓡T的陪伴，對(duì)于下一代的培養(yǎng)，我相信就算人工智能能替代其中部分的步驟我覺(jué)得也是非常蹩腳的。

騰訊科技：應(yīng)對(duì)人工智能時(shí)代的到來(lái)，現(xiàn)在的孩子要培養(yǎng)哪些能力呢？

曾毅：現(xiàn)在有很多家長(zhǎng)也是非常焦慮，就覺(jué)得我的孩子是不是應(yīng)該盡早地接觸人工智能？我印象當(dāng)中也許2017年的時(shí)候，當(dāng)時(shí)在中國(guó)科技館做了一個(gè)科普的活動(dòng)，結(jié)束的時(shí)候就有教育系統(tǒng)的人來(lái)問(wèn)我，你作為一個(gè)人工智能的學(xué)者，如果我們做中小學(xué)的人工智能教育，你的建議是什么？后來(lái)過(guò)了一兩年，甚至看到有類似的書(shū)出現(xiàn)——《為幼兒園小朋友寫(xiě)的深度學(xué)習(xí)教材》，我當(dāng)時(shí)覺(jué)得這樣的嘗試都是非常沒(méi)有意義的。

為什么？人工智能是一個(gè)高速發(fā)展的學(xué)科。我們?nèi)绾味x人工智能？如何理解人工智能？這些都在日新月異地變化。而傳遞給幼兒園、小學(xué)生的相關(guān)的，我更希望是生活的智慧，當(dāng)你給小朋友們講這就是人工智能、人工智能就是這樣處理信息的，我會(huì)覺(jué)得也許我把他們未來(lái)的思考空間縮小了。所以，我當(dāng)時(shí)給那個(gè)教育系統(tǒng)的工作人員的建議是“小朋友不要把人工智能作為一個(gè)學(xué)科來(lái)學(xué)。”

如果真的學(xué)有余力的話，就是讓孩子們學(xué)一門(mén)心理學(xué)，學(xué)認(rèn)知心理學(xué)，讓他對(duì)人本身有更多的認(rèn)識(shí)——人類的智慧到底是怎么回事？我們的內(nèi)心是什么樣的？人如何為人？讓孩子們做更多的思考。第二，我覺(jué)得要向德國(guó)和法國(guó)學(xué)習(xí)，就是初中、高中去學(xué)習(xí)哲學(xué)。在更年輕的時(shí)候去思考這些問(wèn)題比我們工作之后幾十歲的時(shí)候再去反思這樣的問(wèn)題有價(jià)值大多了。

我們現(xiàn)在的教育確實(shí)是很多時(shí)候把學(xué)生慢慢地變成工具，他們甚至沒(méi)有時(shí)間去思考自己未來(lái)的時(shí)候就已經(jīng)被放在未來(lái)的賽道上了。所以我覺(jué)得家長(zhǎng)真的不要那樣焦慮，因?yàn)榧夹g(shù)的發(fā)展它最后留給人類的實(shí)際上就是屬于人類的空間。屬于人類的空間就應(yīng)該以人類的方式去開(kāi)展。我很喜歡前《三聯(lián)周刊》的主編舒可文老師的一本書(shū)，是講城市的夢(mèng)想的。他當(dāng)時(shí)就講人類的城市就是一半規(guī)劃，一半野蠻的生長(zhǎng)。規(guī)劃那部分你用技術(shù)去改變，野蠻的生長(zhǎng)這個(gè)部分你就讓人與人之間的交流去驅(qū)動(dòng)。人與人工智能的關(guān)系也是這樣的。我最反感的觀點(diǎn)叫做使人工智能無(wú)處不在。因?yàn)槲矣X(jué)得不管是它發(fā)展的階段還是它本來(lái)應(yīng)該在這個(gè)社會(huì)中所處的地位都應(yīng)該是適度地使用，把應(yīng)該留給人的空間留給人。技術(shù)可以去變革，可以去賦能的地方可以去嘗試，但是我們發(fā)展技術(shù)的目的是為了人類更好地生存，更好地發(fā)展。不是用技術(shù)去為人類劃一個(gè)句號(hào)。

騰訊科技：全世界有這么多國(guó)家，大家有不同的文化，那人類有沒(méi)有一個(gè)共同的關(guān)于人工智能的終級(jí)夢(mèng)想？

曾毅：目前在全球共識(shí)的層面比較認(rèn)可的是作為工具的人工智能。所以，這個(gè)是在聯(lián)合國(guó)教科文組織的《人工智能倫理建議書(shū)》當(dāng)中希望去闡釋的一個(gè)愿景，就是人工智能作為一種工具和賦能性的技術(shù)賦能全球的可持續(xù)的發(fā)展。但是，我們對(duì)于人工智能的愿景確實(shí)認(rèn)知有不同，日本認(rèn)為人工智能應(yīng)該發(fā)展為社會(huì)的準(zhǔn)成員和伙伴，西方認(rèn)為人工智能只是工具，中國(guó)可能介于兩者之間。但是，這些不同的愿景，不同的價(jià)值觀都是塑造人工智能不同的嘗試。我們未來(lái)希望探索的應(yīng)當(dāng)是人與人工智能共享的一個(gè)最小的倫理原則的集合。

這個(gè)最小的倫理原則的集合是不同的文化之間能夠達(dá)成的共識(shí)，這是第一步。第二步，人與人工智能再次達(dá)成共識(shí)。這個(gè)作為人與人工智能共生社會(huì)的一個(gè)基石。未來(lái)的國(guó)際交往需要一個(gè)倫理的最小集。人與人工智能的倫理也需要這樣的一個(gè)最小集。但是我想這不是終點(diǎn)。真正的終點(diǎn)是最大化我們應(yīng)該做什么的表述。真正去促進(jìn)穩(wěn)健地、可持續(xù)地發(fā)展。

本文來(lái)源于騰訊科技，原文標(biāo)題為《對(duì)話科學(xué)家曾毅：中國(guó)大模型水平不及GPT-4，我為何簽名支持暫停巨型AI研發(fā)？》

風(fēng)險(xiǎn)提示及免責(zé)條款 市場(chǎng)有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見(jiàn)、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：