首頁 > 科技要聞 > 科技> 正文

Ilya出走加劇OpenAI離職潮!RLHF作者Jan Leike同日辭職,超級(jí)對(duì)齊項(xiàng)目分崩離析

量子位 整合編輯:龔震 發(fā)布于:2024-05-16 18:02

Ilya Sutskever宣布退出OpenAI,震動(dòng)整個(gè)AI圈。

數(shù)小時(shí)后,RLHF發(fā)明者之一Jan Leike也追隨他的腳步一起離開,再次給OpenAI的前途蒙上了一層陰影。

兩人共同領(lǐng)導(dǎo)的超級(jí)對(duì)齊團(tuán)隊(duì)成立還不到一年,已經(jīng)分崩離析。

△他甚至不留下一句客套話

Jan Leike在GPT-4項(xiàng)目上與Ryan Lowe共同領(lǐng)導(dǎo)了對(duì)齊工作,而后者也已于3月底離開OpenAI

所以說不止超級(jí)對(duì)齊團(tuán)隊(duì),而是整個(gè)OpenAI安全研究方向的人才,都在持續(xù)動(dòng)蕩中。

超級(jí)對(duì)齊成員之一William Saunders,以及參與過GPT-4對(duì)抗性測試的Daniel Kokotajlo,此前兩人均已離開OpenAI。

其中Kokotajlo在Less Wrong論壇留下了自己的理由:

對(duì)OpenAI能否在AGI時(shí)代負(fù)責(zé)任的行動(dòng)失去了信心。

按他的說法,當(dāng)前的AI監(jiān)管努力集中在“評(píng)估風(fēng)險(xiǎn)和采取緩解措施”的組合上,這種組合很容易被大型公司鉆空子利用,最終導(dǎo)致“選擇性暫停”,也就是最需要被監(jiān)管的前沿大型AI實(shí)驗(yàn)室反而沒被監(jiān)管到

“幻滅了”,這是他用來形容辭職原因的說法,可能也代表了所有這些AI安全研究人員的心情。

對(duì)于這一系列事件,有網(wǎng)友表示:Ilya和Leike離開后,OpenAI可能不再是原來的OpenAI了。

還有人更悲觀一些,失去兩人以后,把對(duì)OpenAI能做好AGI的預(yù)期調(diào)整為零。

以及AI安全問題如此重要,讓人們無法以看熱鬧的心態(tài)來看待這些“抓馬”。

超級(jí)對(duì)齊團(tuán)隊(duì)或不復(fù)存在

為什么Jan Leike的離開引起這么大影響?

他早年在DeepMind工作,與OpenAI團(tuán)隊(duì)共同開發(fā)了人類反饋強(qiáng)化學(xué)習(xí)RLHF,后來成為ChatGPT的核心技術(shù)之一。

加入OpenAI后,從代碼大模型Codex、ChatGPT的前身InstrucGPT,到ChatGPT、GPT-4他都是重要貢獻(xiàn)者。

在去年11月的OpenAI董事會(huì)叛變風(fēng)波中,Jan Leike也發(fā)揮了關(guān)鍵作用,可能是促成Ilya最終回心轉(zhuǎn)意結(jié)束亂局的因素之一。

2023年底,《時(shí)代》雜志將他列為人工智能領(lǐng)域100名最具影響力的人物之一。

2023年7月,Jan與Ilya發(fā)起了OpenAI超級(jí)對(duì)齊團(tuán)隊(duì),拿出20%總算力,直接越級(jí)瞄準(zhǔn)如何控制還不存在的超級(jí)智能。

對(duì)于不同時(shí)間尺度的AI風(fēng)險(xiǎn),OpenAI有三個(gè)團(tuán)隊(duì)來分別應(yīng)對(duì),其中超級(jí)對(duì)齊負(fù)責(zé)遙遠(yuǎn)的未來。

超級(jí)對(duì)齊團(tuán)隊(duì)的第一個(gè)成果《Weak-to-Strong Generalization》,試圖證明通過弱模型監(jiān)管強(qiáng)模型是一條行之有效的路徑

此外他們還開源了用于分析大模型可解釋性的工具OpenAI Transformer Debugger。

這個(gè)工具結(jié)合了自動(dòng)可解釋性技術(shù)和稀疏自動(dòng)編碼器,支持神經(jīng)元和注意力頭干預(yù),讓研究者無需便攜代碼即可獲得數(shù)據(jù)。

除了研究之外,超級(jí)對(duì)齊團(tuán)隊(duì)此前還有一系列資助AI安全研究的計(jì)劃,第一期總計(jì)向?qū)W校、非營利組織和個(gè)人發(fā)放了1000萬美元資金。

可能也就此成為絕唱。

One More Thing

在大量人才持續(xù)出走的同時(shí),OpenAI也引進(jìn)了一些新鮮血液。

最新消息,他們挖來了谷歌搜索廣告業(yè)務(wù)的21年老將。

在商業(yè)化的路上不斷加速,或許是AI安全團(tuán)隊(duì)選擇分道揚(yáng)鑣的原因之一。

文章來源:量子位

 

量子位

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
二維碼 回到頂部