杰弗里·辛頓（Geoffrey Hinton）被公認是人工智能的教父，數十年前他就支持和推動了機器學習，隨著像ChatGPT這樣的聊天機器人引起廣泛關注，CBS的主持人于2023年3月初在多倫多的Vector研究所采訪了Hinton。

全長40分鐘的采訪視頻最近放了出來。整個采訪干貨滿滿，非常精彩。作者對采訪內容進行了翻譯整理，和大家分享。

問：您如何描述當前AI機器學習領域的時刻？

(資料圖)

答：我認為這是一個關鍵時刻。ChatGPT表明，這些大型語言模型可以做一些令人驚奇的事情。普通公眾突然開始關注這個領域，因為微軟發布了一些產品，他們突然意識到了大公司在過去五年里所知道的東西。

問：你第一次使用ChatGPT時的想法是什么？?

答：在ChatGPT前，我已經使用了許多類似的東西，所以ChatGPT并沒有讓我感到驚訝。GPT-2（這是早期的一種語言模型）讓我驚訝，谷歌的一個模型也讓我驚訝，它實際上可以解釋為什么一個笑話很好笑。它用自然語言告訴你為什么一個笑話很好笑。當然，并非所有笑話都可以，但對于很多笑話，它都可以告訴你為什么它們好笑。

問：如果ChatGPT并不那么令人驚訝或令人印象深刻，那么您對公眾對它的反應感到驚訝嗎？因為反應很大。?

答：是的，我認為每個人都有點驚訝于反應如此之大。這是最快增長的應用程序。也許我們不應該感到驚訝，但研究人員已經習慣于這些東西實際上是有效的。

問：你在AI領域一直處于領先地位，半個世紀都領先于其他人，對嗎？?

答：其實不然。在AI領域，有兩種思路。一種是主流AI，另一種是關于神經網絡的。主流AI認為，AI是關于推理和邏輯的，而神經網絡則認為，我們最好研究生物學，因為那些才是真正有效的東西。所以，主流AI基于推理和邏輯制定理論，而我們基于神經元之間的連接變化來學習制定理論。從長遠來看，我們取得了成功，但短期內看起來有點無望。

問：回顧過去，了解你現在所知道的，你認為當時你是否可以說服人們？

答：我當時可以說，但那并不能說服人們。我可以說，神經網絡在20世紀80年代沒有真正奏效的唯一原因是計算機運行速度不夠快，數據集不夠大。然而，在80年代，一個重要的問題是，一個擁有大量神經元的大型神經網絡，計算節點和它們之間的連接，僅通過改變連接的強度，從數據中學習，而沒有先驗知識，這是否可行？主流AI的人認為這完全荒謬。盡管這聽起來有點荒謬，但它確實有效。

問：您是如何知道或為什么相信這種方法會奏效的？?

答：因為大腦就是這樣。你必須解釋我們是如何做到這些事情的，以及我們是如何做到那些我們沒有進化出來的事情的，比如閱讀。閱讀對我們來說是非常新近的，我們沒有足夠的進化時間來適應它。但我們可以學會閱讀，我們可以學會數學。所以一定有一種在這些神經網絡中學習的方法。

問：昨天，曾與您共事的Nick告訴我們，您并不是真正對創建AI感興趣，您的核心興趣是理解大腦是如何工作的。?

答：是的，我真的想了解大腦是如何工作的。顯然，如果你關于大腦工作原理的錯誤理論帶來了好的技術，你可以利用這一點來獲得資助。但我真的想知道大腦是如何工作的。我認為目前人工神經網絡與大腦實際工作原理之間存在一定的分歧。我認為它們現在走的是不同的道路。

問：那么我們現在還沒有采取正確的方法？

答：這是我的個人觀點。

問：但所有大型模型現在都使用一種叫做反向傳播的技術，而這種技術是您幫助推廣的。

答：我認為大腦并不是在做這個。有兩條通往智能的不同道路。一條是生物學途徑，另一條是我們所擁有的模擬硬件途徑。我們必須用自然語言進行溝通，還要向人們展示如何做事情，模仿等。但我們在交流方面做得很糟糕，與現在運行在數字計算機上的計算機模型相比，我們的交流能力差得多。計算機模型之間的溝通帶寬非常大，因為它們是相同模型的克隆，運行在不同的計算機上。正因為如此，它們可以查看大量的數據，因為不同的計算機可以查看不同的數據，然后它們結合了它們所學到的東西，遠遠超出了任何人能夠理解的范圍。盡管如此，我們仍然比它們聰明。

問：所以它們就像是天才白癡嗎？

答：對，ChatGPT知道的比任何一個人都多。如果有一個關于知識量的比賽，它會輕松擊敗任何一個人。它在智力競賽中表現出色，可以寫詩，但在推理方面并不擅長。我們在推理方面做得更好。我們必須從更少的數據中提取我們的知識。我們有100萬億個連接，其中大部分是通過學習得到的，但我們只活了十億秒，這并不算很長的時間。像ChatGPT樣的東西，它們在許多不同的計算機上運行了比我們更長的時間，吸收了所有這些數據。

問：1986年，您在《自然》雜志上發表了一篇文章，提出了一個想法：我們將擁有一個由單詞組成的句子，并預測最后一個單詞。

答：是的，那是第一個語言模型，基本上就是我們現在在做的事情。1986年是很久以前的事情了。

問：為什么那時候人們還沒有說“哦，好吧，我認為他找到了方法”？

答：因為那時候，如果你問我用多少數據訓練了那個模型，我有一個簡單的家庭關系模型，有112個可能的句子，我用其中的104個進行了訓練，然后檢查它是否正確預測了最后8個。它在預測最后8個方面表現得相當好，比符號AI更好。問題是那時候的計算機還不夠強大。現在的計算機速度快了數百萬倍，可以進行數百萬倍的計算。我做了一個小計算，如果我拿1986年的計算機去學習一些東西，它現在仍在運行，但還沒有完成。現在，學習這些東西只需要幾秒鐘。

問：你知道這是你的制約因素嗎？

答：我并不知道，但我相信那可能是我們的制約因素。但人們對這樣的說法嗤之以鼻，好像這是一個借口：“如果我有更大的計算機和更多的數據，一切都會好起來。現在它不起作用是因為我們沒有足夠的數據和計算能力。”這種觀點被當作對事物無法正常運作的一種狡辯。

問：在90年代從事這項工作很困難嗎？

答：在90年代，計算機在不斷發展，但是那時確實有其他學習技術，在小型數據集上表現得和神經網絡一樣好，而且更容易解釋，背后有更為復雜的數學理論。所以，在計算機科學領域，人們對神經網絡失去了興趣。但在心理學領域，他們仍然對神經網絡感興趣，因為心理學家對人類可能如何學習感興趣，這些其他技術甚至比反向傳播還不合理。

問：這是您背景的一個有趣部分，您之所以投身于這個領域，并非因為對計算機感興趣，而是因為對大腦感興趣。

答：是的，我原本對心理學感興趣，后來我決定，如果不了解大腦，我們永遠無法理解人類。在70年代，有一種時髦的觀點認為，你可以在不關心大腦的情況下做到這一點，但我覺得那是不可能的。你必須了解大腦是如何運作的。

問：現在我們快進到2000年代，您回顧過去，是否認為有一個關鍵時刻，當時您覺得我們這一方將在這場爭論中獲勝？

答：大約在2006年，我們開始做所謂的深度學習。在那之前，讓具有多層表示的神經網絡學會復雜事物一直很困難。我們找到了更好的方法來實現這一點，更好的初始化網絡的方法，稱為預訓練。在ChatGPT中，P代表預訓練。T代表變換器，G代表生成。實際上，是生成模型為神經網絡提供了更好的預訓練方法。2006年時，這個理念的種子已經埋下，到了2009年，我們已經研發出了比最好的語音識別器更好的東西，用與其他所有語音識別器不同的技術識別您說的哪個音素。

問：那么2012年發生了什么大事呢？

答：實際上2012年發生了兩件大事。其中一項研究始于2009年，是由我的兩名學生在暑假進行的，他們的研究成果導致了語音識別的改進。這項技術被推廣到了微軟、IBM和谷歌等大型語音識別實驗室。2002年，谷歌首次將其應用于產品，突然之間，安卓上的語音識別變得跟Siri一樣好，甚至更好。這是深度神經網絡在語音識別領域的一個應用，比以前提前了三年。

在那個時間點的幾個月內，我的另外兩名學生開發了一個物體識別系統。該系統可以查看圖像，告訴你圖像中的物體是什么，效果比以前的系統好得多。

這個系統是怎么工作的呢？有一個人叫李飛飛，和她的合作者創建了一個大型圖像數據庫，包含了1000個不同類別的100萬張圖像。你需要查看一張圖像，并對圖像中的主要物體進行最好的猜測。所以，這些圖像通常會在中間有一個物體，比如子彈頭火車或者哈士奇之類的東西。其他系統的錯誤率是25%，而我們的錯誤率是15%。幾年之后，15%的錯誤率降到了3%，這已經接近人類水平了。

讓我試著解釋一下，讓人們理解他們的方法與其他團隊的方法之間的區別。假設你想在圖像中識別一只鳥。圖像本身，假設是200x200的圖像，有200x200個像素，每個像素有三個顏色值RGB。所以你在計算機里有200x200x3個數字，就是計算機里的數字。任務是將這些數字轉換成一個表示鳥的字符串。50年來，標準AI領域的人們一直試圖做到這一點，但沒有成功。將一堆數字轉換成一個表示鳥的標簽是很棘手的。

你可以這樣做：首先，你可以制作特征檢測器，檢測像素的小組合。然后在下一級別，你可能會說，假設我有22個邊緣檢測器，它們以一個細角相連，那可能就是一只喙。然后在更高的層次上，我們可能有一個探測器，它會說，嘿，我找到了這個類似喙的東西，還找到了一個圓形的東西，它們在空間關系上大致是一只鳥的眼睛和喙。所以下一個級別，你會有一個鳥類探測器，它會說，如果我看到這兩個特征，我認為這可能是一只鳥。你可以想象通過手動連接這些特征檢測器。而反向傳播的思想就是在一開始隨機設置連接權重，然后根據預測結果調整權重。如果預測出現錯誤，那么你就通過網絡反向計算，并提出以下問題：我應該如何改變這個連接強度，使其更不容易說出錯誤答案，更容易說出正確答案？這稱為誤差或差異。然后，你要計算每個連接強度如何進行微調，使其更容易得出正確答案，更不容易得出錯誤答案。

一個人會判斷這是一只鳥，然后將標簽提供給算法。但是反向傳播算法只是一種計算方法，用于確定如何改變每個連接強度，使其更容易說鳥，更不容易說貓。算法會不斷嘗試調整權重。現在，如果你展示足夠多的鳥和貓，當你展示一只鳥時，它會說鳥；當你展示一只貓時，它會說貓。事實證明，這種方法比手動連接特征檢測器要有效得多。

這就是我的學生在圖像數據庫上所做的事情。他們讓這個系統工作得非常好。這些學生非常聰明，事實上，其中一名學生，他是ChatGPT背后的主要人物之一。那是人工智能的一個巨大時刻，他實際上參與了這兩個項目。

你可以想象，當你調整這個小旋鈕時，它會說出“鳥”，這感覺就像是一個驚人的突破。這主要是因為計算機視覺領域的其他人認為，這些神經網絡只適用于簡單的任務，例如識別手寫數字，但這并不是真正復雜的圖像，具有自然背景等。他們認為這種方法永遠不會適用于這些大型復雜圖像，但突然之間，這種方法就成功了。

值得稱道的是，那些曾經堅定反對神經網絡的人，當看到這種方法成功時，他們做了科學家通常不會做的事情，也就是說：“哦，它有效，我們會采用這個方法。”人們認為這是一個巨大的轉變。因為他們看到這種方法比他們正在使用的方法更有效，所以他們很快就改變了立場。

當人們既在思考機器，也在思考我們自己的思維方式時，我們常常認為，輸入是語言，輸出是語言，那么中間一定也是語言。這是一個重要的誤解。實際上，這種觀點并不正確。如果這是真的，那么被稱為符號人工智能的方法應該非常擅長進行機器翻譯，比如把英語轉換成法語。你會認為操作符號是實現這一目標的正確方法。但實際上，神經網絡的效果更好。當谷歌翻譯從使用符號方法轉向神經網絡時，效果大大提高了。我認為，在中間的部分，你會發現有數百萬個神經元，它們中的一些是活躍的，一些則不是。符號只能在輸入和輸出處找到，而不是在整個過程中。

現在，我們在多倫多大學附近，雖然并非在多倫多大學里，但在這里和世界各地的大學里，我們教育了很多人學習編碼。教這么多人編碼是否仍然有意義呢？我不知道答案是什么。在2015年左右，我曾經聲稱，在未來五年內，計算機將在圖像識別方面超越放射科醫生，因此教他們識別圖像中的東西已經沒有意義了。事實證明，我的預測錯誤了，實際上需要10年，而不是5年。在精神層面上，我并沒有錯，只是時間預測出了差錯。計算機現在在很多醫學圖像識別方面與放射科醫生相當，盡管它們還沒有在所有方面做得更好，但它們只會變得更好。

因此，我認為有一段時間，我們仍然需要編碼人員。我不知道這段時間會有多長，但我們需要的編碼人員會減少。或者，我們可能需要相同數量的編碼人員，但他們將能夠實現更多的成果。

問：我們在這里談論的是一家初創公司，昨天我們拜訪了他們。你是他們的投資者，那么，什么是說服你的投資理由呢？

答：首先，他們是好人，我曾與其中的幾位合作過。其次，他們是第一批意識到需要將Google、OpenAI等地開發的大型語言模型帶給企業的公司。這對公司來說將非常有價值，因此，他們一直在努力實現這一目標，而且在這方面取得了領先地位。所以，我認為他們會成功的。

問：你曾經提到過一個我覺得非常有趣的觀點，那就是未來可能會有一種新型計算機，專門解決這個問題。這個觀點是什么？

答：我們有兩種途徑來理解智能：一種是生物途徑，其中每個大腦都是不同的，我們需要通過語言來在不同的大腦之間傳遞知識；另一種是目前的AI神經網絡版本，你可以在不同的計算機上運行相同的模型，實際上它們可以共享連接權重，因此它們可以共享數十億個數字。

這就是我們如何讓一只鳥跳舞的。它們可以共享識別鳥的所有連接權重，一個可以學會識別貓，另一個可以學會識別鳥，它們可以共享它們的連接權重，這樣每個模型都可以做兩件事。這正是這些大型語言模型所做的，它們在共享。但這種方法只適用于數字計算機，因為它們必須能夠模擬相同的事物。而不同的生物大腦無法相互模擬，因此它們無法共享連接。

問：為什么我們不堅持使用數字計算機呢？

答：因為電力消耗。你需要很多電力。雖然隨著芯片的改進，電力需求在減少，但運行數字計算機仍然需要大量的電力。你必須讓計算機以高電力運行，以便它能夠精確地以正確的方式工作。然而，如果你愿意讓計算機以較低的電力運行，比如大腦所做的那樣，你會允許一些噪聲等，但特定系統會適應該特定系統中的噪聲，整個系統將正常工作，盡管你沒有以如此高的電力運行它以便它能精確地按照你的意圖進行工作。大腦的運行功率是30瓦，而大型AI系統需要像兆瓦這樣的功率。所以我們在30瓦上進行訓練，而大型系統則使用兆瓦，它們有很多相同的東西。所以你知道，我們在談論功率需求方面的1000倍差距。因此，我認為會有一個階段，我們會在數字計算機上進行訓練，但一旦某個AI系統訓練完畢，我們會將其運行在非常低功耗的系統上。所以，如果你想讓你的烤面包機能和你對話，你需要一個只花費幾美元的芯片，而且它能運行像ChatGPT這樣的程序，那么最好是一個低功耗和低芯片。

問：你認為接下來這項技術將做些什么，以影響人們的生活？

答：很難選一個。我認為這將無處不在。它已經開始無處不在了，ChatGPT只是讓很多人意識到了這一點。它將無處不在。但實際上，當谷歌進行搜索時，它會使用大型神經網絡來幫助決定向你展示什么最佳結果。我們現在正處于一個過渡點，其中ChatGPT像一個“白癡天才”，它也并不真正了解事實真相。它接受了大量不一致的數據訓練，試圖預測下一個網絡用戶會說什么。人們對很多事情有不同的觀點，而它必須有一種混合所有這些觀點的方式，以便可以模擬任何人可能說的話。這與一個試圖擁有一致世界觀的人非常不同，特別是如果你想在世界上采取行動，擁有一致的世界觀是非常有益的。

我認為接下來會發生的一件事是，我們將朝著能夠理解不同世界觀的系統發展，并且能夠理解，好吧，如果你有這個世界觀，那么這就是答案。而如果你有另一個世界觀，那么答案就是另一個。我們得到我們自己的真相。

問：那么這個問題是不是因為，你和我可能都相信（除非你是一個極端的相對主義者），實際上在很多話題上，甚至在大多數話題上，確實存在一個事實真相，比如地球實際上并不是平的，只是看起來平而已，對吧？

答：是的，所以我們真的想要一個模型說，好吧，對某些人來說，我們不知道嗎？這將是一個巨大的問題，我們目前還不知道如何處理。目前我并不認為微軟知道如何處理這個問題。他們也不知道。這似乎是一個巨大的治理挑戰。誰來做這些決策？這是非常棘手的事情。你可不希望某個大型盈利公司來決定什么是真實的。但他們正在控制我們如何使用這些東西。谷歌目前非常小心，不要那樣做。谷歌會做的是將你引向相關文件，這些文件中會有各種各樣的觀點。

問：那么他們還沒有發布他們的聊天產品，至少在我們談話的時候還沒有，對吧？

答：是的，但我們已經看到，至少那些已經發布聊天產品的人覺得有些事情他們不希望用他們的聲音說出來，所以他們會去干預它，以免說出冒犯人的話。是的，但這種方式你能做的事情是有限的。總會有你想不到的事情，對吧？是的。所以我認為谷歌在發布聊天機器人時會比微軟更謹慎，并且它可能會附帶很多警告，這只是一個聊天機器人，不要一定相信它所說的。在標簽上小心，或者在干預方式上小心，以免做出糟糕的事情。所有這些方面都要小心。在如何將其作為產品呈現以及如何進行訓練方面要小心。是的。并努力防止它說出不好的東西。但是，誰來決定什么是壞事呢？有些壞事是相當明顯的，但是很多最重要的事情并不是那么明顯。所以，目前這是一個很大的懸而未決的問題。我認為微軟發布ChatGPT是非常勇敢的。

問：你是否認為這是一個更大的社會問題，我們需要監管或大規模公共辯論來處理這些問題？

答：當涉及到真相問題時，我的意思是，你是否希望政府來決定什么是真實的？這是個大問題，對吧？你也不希望政府來做這件事。我相信你已經對這個問題進行了深入的思考很長時間，我們如何在你只是將它發送到世界和我們找到策展它的方法之間找到平衡？像我說的，我不知道答案，而且我不相信有人真的知道如何處理這些問題。我們必須學會如何快速處理這些問題，因為這是一個當前的大問題。但是，關于如何完成這件事，我不知道，但我懷疑，作為第一步，至少這些大型語言模型必須了解到，存在不同的觀點，以及它所作出的補充是相對于一個觀點的。

問：有些人擔心，這可能會很快蔓延開來，我們可能無法為此做好準備。這讓你擔憂嗎？

答：確實有點。直到不久前，我認為在我們擁有通用人工智能之前還需要20到50年的時間。而現在我認為可能是20年或更短時間。有些人認為可能只有5年，那是荒謬的。但現在我不會完全排除這種可能性，而幾年前，我會說絕不會發生這種情況。

問：有人說AI可能對人類構成巨大危險，因為我們不知道一個比我們聰明得多的系統會做什么。你是否也有這種擔憂？

答：我確實有點擔憂。顯然，我們需要做的是使這種技術與人類互補，讓它幫助人們。我認為這里的主要問題之一是我們所擁有的政治體系。即使說美國、加拿大和一群國家表示，好的，我們將建立這些防護欄，那么你如何保證呢？特別是對于像自主致命武器這樣的事物，我們希望有類似日內瓦公約的東西，像化學武器一樣。人們認為這些武器是如此惡心，以至于他們不再使用它們，除非有充分理由。但我認為，基本上他們不再使用這些武器。人們希望為自主致命武器達成類似的協議，但我認為他們不太可能達成這樣的協議。

問：這是這個問題最尖銳的版本，你可以笑它，也可以不回答，但是你認為AI消滅人類的幾率是多少？我們能否對此給出一個數字？

答：這個幾率介于0%和100%之間。我認為這并非不可能。就我所說，如果我們明智的話，我們會努力發展它，以免發生這種情況。但是，令我擔憂的是政治局勢。確保每個人都明智行事是一個巨大的政治挑戰。這似乎是一個巨大的經濟挑戰，因為你可能會有很多個體追求正確的道路，然而，公司的利潤動機可能不會像為他們工作的個體那樣謹慎。也許吧，我只真正了解谷歌，這是我唯一的工作公司。他們一直是最謹慎的公司之一。他們對AI非常謹慎，因為他們有一個提供你想要的答案的出色搜索引擎. 他們不想損害它。而微軟則不太關心這個問題。如果搜索消失了，微軟可能都不會注意到。當沒有人追趕他們的時候，谷歌采取緩慢的策略是容易的。谷歌一直處于領先地位。Transformers是在谷歌發明的，大型語言模型的早期版本也是在谷歌。

問：是的，他們抓住了這個機會。

答：他們更加保守，我認為這是正確的。但現在他們感受到了壓力。所以他們正在開發一個名為“Bart”的系統，他們將發布該系統。他們正在對它進行大量的測試，但我認為他們會比微軟更謹慎。

問：你提到了自主武器。讓我給你一個機會來講述這個故事。你是如何來到加拿大的，這與你的選擇有什么關系？

答：有好幾個原因讓我來到了加拿大，其中一個原因確實是不想從美國國防部那里拿錢。那時正值里根總統執政，他們正在尼加拉瓜的港口布雷。有趣的是，我當時在匹茲堡的一個大學，我是那里為數不多的認為在尼加拉瓜港口布雷是非常錯誤的人之一。所以我覺得自己像是異類。

問：你看到這種類型的工作是如何獲取資金的嗎？

答：在那個部門，幾乎所有的資金都來自美國國防部。

問：你開始談論將這項技術應用于戰爭可能帶來的問題，你擔憂什么？

答：噢，我擔心美國人會試圖用AI士兵替換他們的士兵，他們正朝著這個方向努力。

問：你看到了什么證據？

答：我在美國國防部的一個郵件列表上。我不確定他們知不知道我在郵件列表上，這是一個很大的名單，他們沒有注意到我在那里。

問：名單上有什么？

答：哦，他們只是描述了他們打算做的各種事情，上面有一些令人作嘔的東西。

問：讓你感到惡心的是什么？

答：讓我感到惡心的是一個關于自愈雷區的提議。這個想法是從雷區的角度來看，當一些無知的平民闖入雷區時，他們會被炸死，導致雷區出現空缺，使得雷區無法完全發揮作用。所以他們提出讓附近的地雷進行通信，也許地雷可以稍微移動一下來彌補空缺，他們稱之為自愈。而討論這種自愈的想法，對于那些會炸斷孩子雙腿的地雷來說，實在令人作嘔。

問：有人認為，盡管自主系統可能在某種程度上幫助戰斗員，但最終決策仍然是由人類做出的。你擔心什么？

答：如果你想制造一種高效的自主士兵，你需要賦予它創造子目標的能力。換句話說，它必須意識到類似的事情，比如：“好吧，我想殺死那個人，但是要過去，我該怎么辦？”然后它必須意識到，如果能到達那條道路，可以更快地到達目標地點。所以，它有一個到達道路的子目標。一旦你賦予它創造子目標的能力，它就會變得更有效。像普京這樣的人會希望擁有這樣的機器人。但是，一旦它具備了創造子目標的能力，你就會遇到所謂的“對齊問題”，即如何確保它不會創造對人類或你自己不利的子目標。誰知道那條路上會有什么人？誰知道會發生什么？

問：如果這些系統是由軍方研發的，那么將一條“永遠不要傷害人類”的規則植入其中的想法，恐怕并不現實，因為它們本就是設計用來傷害人類的。你看到這個問題有什么解決辦法嗎？是條約還是什么？

答：我認為最好的辦法是類似于《日內瓦公約》的東西，但這將非常困難。我覺得如果有大量的公眾抗議，那么可能會說服政府采取行動。我可以想象，在足夠的公眾抗議下，政府可能會采取某些行動。但是，你還需要應對其他人。

問：是的，確實如此。好的，我們已經談了很多。我想我還有兩個問題。還有一個問題我想問一下。

答：好的，你問吧。

問：有人說這些大型模型只是自動補全，這種說法對嗎？

答：從某種程度上來說，這些模型確實是自動補全。我們知道這些大型語言模型只是預測下一個詞。這并不簡單，但確實如此。它們只是預測下一個詞，所以它們只是自動補全。但是，問問自己一個問題：要準確預測下一個詞，你需要了解到目前為止所說的內容。基本上，你必須理解已經說過的話來預測下一個詞。所以你也是自動補全，只不過與它們一樣。你可以預測下一個詞，雖然可能不如ChatGPT那么準確，但為了做到這一點，你必須理解句子。

讓我舉一個關于翻譯的例子。這是一個非常具有說服力的例子。假設我要把這句話翻譯成法語：“獎杯太大了，它放不進行李箱。”當我說這句話時，你會認為“它”指的是獎杯。在法語中，獎杯有特定的性別，所以你知道該用什么代詞。但如果我說：“獎杯放不進行李箱，因為它太小了。”現在你認為“它”指的是行李箱，對吧？在法語中，行李箱的性別也不同。所以為了把這句話翻譯成法語，你必須知道，當它放不進去是因為太大時，是獎杯太大；而當它放不進去是因為太小時，是行李箱太小。這意味著你必須了解空間關系和容納等概念。

為了進行機器翻譯或預測那個代詞，你必須理解所說的內容。僅僅把它當作一串單詞是不夠的。

問: 你在這個領域的工作經歷比任何人都長，你描述進展就像是“我們有了這個想法，嘗試了一下，然后它奏效了。”所以我們有了幾十年的反向傳播，我們有了Transformer這個想法，但還有數百種其他想法還沒有嘗試。

答：是的，我認為即使我們沒有新的想法，只是讓計算機運行得更快、獲取更多數據，這些東西也會變得更好。我們已經看到，隨著ChatGPT規模的擴大，使其更優秀的并不是全新的想法，而是更多的連接和更多的訓練數據。但除此之外，還會有像變換器這樣的新想法，它們將使其運作得更好。

問：我們離讓計算機自己想出改進自己的方法還有多遠？

答：呃，我們可能很接近了。然后它可能會變得非常快。這是一個問題，對吧？我們必須認真思考如何控制這一點。

問：是的，我們能做到嗎？

答：我們不知道，我們還沒有到那個地步，但我們可以嘗試。

問：好吧，這似乎有點令人擔憂。作為這個行業的教父，你是否對你帶來的這些成果感到擔憂？

答：有一點。另一方面，我認為不論發生什么，這幾乎都是不可避免的。換句話說，一個人停止研究不會阻止這種情況的發生。如果我的影響只是讓它提前一個月發生，那么這就是一個人所能做的極限了。有這個想法，我可能說錯了，那就是短跑道和長起飛。

問：也許我們需要時間準備，或者也許如果它發生得很快，那么人們會在問題上感到緊迫，而不是像現在這樣慢慢發展。你對此有什么看法？

答：我認為有時間準備是好的。所以我認為，現在就擔心這些問題是非常合理的，盡管在接下來的一兩年內不會發生。人們應該思考這些問題。

問：我們還沒有談到工作崗位的替代，這是我的疏忽，對不起。這個技術是否會不斷吞噬工作，一個接一個？

答：我認為它將使工作不同，人們將從事更有創造性的工作，而較少從事例行工作。

問：那么如果它可以評價詩歌和制作電影，還有什么工作算什么有創造性的工作？

答：如果你回顧歷史，看看自動取款機，這些現金機出現時，人們說這是銀行柜員的終結。但實際上，它并沒有終結銀行柜員的職位。現在銀行柜員處理更復雜的事情，并且需要編碼人員。所以人們說，這些工具可以進行簡單的編碼，并且通常能夠正確地執行，你只需要讓它編寫程序，然后檢查它，這樣你就能夠快速工作10倍。你可以只用10%的程序員，或者你可以使用相同數量的程序員，生產10倍的東西。

我認為會有很多這樣的例子，一旦這些工具開始有創造性，就會創造出更多的東西。這是自工業革命以來最大的技術進步。

問：這是另一次工業革命嗎？這是什么？人們應該如何看待它？

答：我認為它在規模上與工業革命、電力、甚至是輪子的發明相當。我在人工智能方面取得了領先地位有一個原因，那是因為加拿大授予機構的政策。這些機構沒有很多錢，但他們利用其中的一些資金來支持出于好奇心的基礎研究。在美國，資金是必須聲明你將會生產什么產品的。在這里，一些政府資金——相當多的資金，是給教授的，讓他們雇用研究生和其他研究人員探索他們感興趣的事物。如果他們在這方面表現出色，那么三年后他們會獲得更多的資金。這就是支持我的資金，是基于出于好奇心的基礎研究的資金。我們之前也看到過這種情況，即使幾十年來沒有能夠展示出太多的成果。

另一個發生的事情是，有一個叫做“加拿大高等研究所”的組織，為加拿大擅長的領域的教授提供額外的資金，并為分布在不同地方的教授提供相互交流的資金，例如溫哥華和多倫多，也與美國、英國和以色列等其他地區的研究人員互動。CFR在人工智能領域設立了一個項目，最初是在20世紀80年代建立的，這是將我帶到加拿大的項目，那時是基于符號的人工智能。

問：哦，我知道了，你是怎么來的？

答：我很奇怪，有點不尋常，因為我做了一些大家都認為是無意義的東西，但他們認識到我擅長這種“無意義”的東西，所以如果有人要做這種東西，那一定是我。我的一封推薦信寫道：“你知道我不相信這些東西，但如果你想找一個人來做這個，就找Geoffrey吧。”在那個項目結束后，我回到英國待了幾年，然后回到加拿大，他們決定資助一個基于深度學習的項目。

問：我認為你對“感知”的定義也有一些不滿意，對嗎？

答：是的，當涉及到“感知”的時候，我很驚訝人們會自信地宣稱這些東西是沒有感知的。當你問他們“感知”的意思是什么時，他們會說他們不太清楚。那么如果你不知道“感知”的意思，你怎么能自信地說它們沒有感知呢？所以也許它們已經有感知了，誰知道呢。我認為它們是否有感知取決于你對“感知”的定義，所以你最好在回答這個問題之前先定義一下你對“感知”的理解。我們認為它是否有感知重要嗎，還是只關注它是否能有效地表現出有感知的狀態？

問：這是一個非常好的問題，很重要。那你的答案是什么？

答：我沒有答案。好吧，因為如果它沒有感知，但出于某種原因它認為它有感知，并且它需要實現與我們利益相悖的目標，但它相信它符合自己的利益，那么這真的很重要嗎？我認為一個很好的例子可以想到的是一種自主的致命武器。說它沒有感覺這也對，但是當它在追逐你并射擊你時，你會開始認為它有感覺。我們并不真的關心，這不再是一個重要的標準了。我們正在開發的這種智能與我們的智能非常不同，它是某種伺候無知者的工具，它和我們不一樣。

問：但是你的目標是讓它更像我們，你認為我們會實現這個目標嗎？

答：不是，我的目標是理解我們。我認為理解我們的方式是通過構建像我們一樣的東西。我說過的那位物理學家理查德·費曼曾經說過，你不能理解一件事情，除非你能夠構建它。

問：所以你一直在構建。

回答：所以我一直在構建。

本文來源：Web3天空之城，原文標題：《AI教父Hinton最新采訪萬字實錄：ChatGPT和AI的過去現在與未來》

風險提示及免責條款 市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。

關鍵詞：