OpenAI 三位掌舵人聯名發文，提議像管核設施一樣管 AI!

　　他們預言十年內 AI 產出將與大公司相當。而超級智能是一把“雙刃劍”，必須要受到監管。

　　近日，OpenAI CEO Sam Altman、總裁 Greg Brockman 和首席科學家 Ilya Sutskever 聯名發表了一篇“呼吁信”，認為世界需要建立一個國際人工智能監管機構，而且要穩中求快建立起來。

　　他們解釋說：人工智能的創新速度如此之快，我們不能指望現有的權威機構能夠充分控制這項技術。

　　OpenAI 此舉受到大量關注，推特上轉贊已超 3000：

　　馬斯克也來評論底下湊了熱鬧，“控制很重要”：

　　有網友認為 OpenAI 提出這樣的舉措，阻礙了開放人工智能社區的發展，這看起來是自私的，與 OpenAI 的名稱相違背：

　　也有網友對 OpenAI 提出的監管 AI 表示認同：很高興看到這些問題受到更嚴肅的關注。

　　其實，在上周美國國會聽證會上，Altman 就針對 AI 安全問題提出了三條措施：

　　成立一個新的機構，負責為 AI 大模型頒發許可，并擁有撤銷許可的權力。

　　為 AI 模型創建一套安全標準，對危險性做評估，包括它們是否能夠“自我復制”、“逃出實驗室自己行動”。

　　要求獨立專家對模型的各種指標做獨立審計。

　　OpenAI 此次再次呼吁建立監管機構。

　　在文章中，OpenAI 高層承認人工智能不會自我管理，未來十年內人工智能系統將在很多領域超越專家水平，并且產出能夠與當今的最大企業相匹敵。

　　人工智能的發展已是大勢所趨，要想限制它的發展就需要類似全球監視體制的東西出現。

　　國外媒體 TechCrunch 認為，雖然 OpenAI 的提議相當于“也許我們應該做點什么”(也帶有一點自夸的傾向)，但這“至少是一個起點”。

　　下面是 OpenAI 此次發布的文章全文編譯：

　　超級智能的治理

　　現在是思考超級智能治理的好時機——未來的人工智能系統在能力上將遠超通用人工智能(AGI)。

　　從我們目前的觀察來看，可以想象在接下來的十年內，人工智能系統將在大多數領域超越專家水平，其產出能夠與當今最大的企業相當。

　　無論是從潛在的積極影響還是負面影響來說，超級智能都比人類曾經面對的其它技術更加強大。這意味著我們可能會迎來一個極其繁榮的未來。

　　然而，為了實現這個目標，我們必須有效地管理其中的風險。考慮到潛在的存在主義風險(existential risk)，我們不能僅僅采取被動的應對措施。核能就是一個常見的例子，具備類似特性的技術還包括合成生物學。

　　我們需要降低當前人工智能技術的風險，但對于超級智能，我們需要特別的處理和協調機制。

　　一個起點

　　在引導人工智能向良發展的過程中，有許多重要的想法需要我們考慮。

　　在這里，我們首先對其中的三個想法進行了初步思考：

　　首先，為了確保超級智能的發展可以在安全的前提下與社會順利融合，我們需要在前沿的研發工作之間進行一定程度的協調。

　　實現這一目標可以采取多種方式：全球各政府可以組建一個項目，將現有的許多工作納入其中;或者我們可以達成一致意見(像下文所建議的，在新組織的支持下)，限制人工智能能力的研發增長速度，每年將其保持在一定幅度之內。

　　當然，我們應該要求各個公司以極高的標準負責任地行事。

　　其次，最終我們很可能需要類似國際原子能機構(IAEA)這樣的機構來管理超級智能。任何達到一定能力(或計算資源等)門檻的項目都應受到國際權威機構的監管。

　　該機構可以檢查系統、要求審計、測試是否符合安全標準，以及限制部署程度和安全級別等。跟蹤計算和能源使用情況可能會有很長的路要走，我們需要得到一些使這個想法可以實現的希望。

　　作為第一步，公司可以自愿同意開始實施這樣一個機構未來可能要求的一些準則;第二步，各個國家可以逐步實施。重要的是，這樣的一個機構應該專注于降低存在主義風險，而不是處理本應由各個國家解決的問題，比如規定人工智能能夠說些什么。

　　第三，我們需要具備技術能力來確保超級智能的安全性。這是一個開放的研究問題，我們和其他人正在為此付出很多努力。

　　不在監管范圍內的部分

　　我們認為允許公司和開源項目在明顯的能力門檻以下開發模型是非常重要的，無需采取我們所描述的監管措施(包括繁瑣的機制，如許可證或審核)。

　　現今的系統將為世界帶來巨大的價值，雖然它們的確存在風險，但它們所帶來的風險程度與其它互聯網技術相當，而且社會對此的處理方式似乎是恰如其分的。

　　相比之下，我們關注的系統是那種具有超越目前任何技術的力量。

　　我們應該注意的是，不要通過對遠低于這個標準的技術，應用相似的標準來淡化對它們的關注。

　　公眾參與和潛力

　　然而，對于最強大系統的治理以及與其相關的部署決策，必須受到公眾強有力的監督。

　　我們認為全世界的人們應該以民主的方式決定 AI 系統的界限和默認設置。

　　雖然我們還不知道如何設計這樣的機制，但我們計劃進行試驗來推動。而在界限之內，我們仍然堅持認為個體用戶應該對所使用的 AI 系統的行為擁有很大的控制權。

　　考慮到其中的風險和困難，我們有必要思考為什么要構建這項技術。

　　對于 OpenAI 來說，我們有兩個根本原因。

　　首先，我們相信它將帶來一個比我們今天能夠想象的更美好的世界(在教育、創意工作和個人生產力等領域，我們已經看到了早期的成果)。

　　世界面臨著許多問題，我們需要更多幫助來解決這些問題，而這項技術可以改善我們的社會。每個人使用這些新工具的創造力肯定會讓我們感到驚嘆。經濟增長和生活質量的提高也將是令人吃驚的。

　　其次，我們相信阻止超級智能的創建是具有非直觀風險和困難的。因為其帶來的好處是非常巨大的，建造它的成本每年都在下降，而參與者數量在迅速增加。

　　它本質上是我們所走的技術道路的一部分，要監管它的發展就需要類似全球監視體制的存在。

　　但即便如此，也無法保證監管的有效性。

　　所以，我們必須把它做好。
　　（碼上科技）