出走OpenAI的超级对齐团队负责人Jan Leike,刚刚官宣了自己加入Anthropic的消息,并且开始高调招兵买马。同时,外界也开始对Ilya的去向纷纷猜测:是去Anthropic,xAI,还是自立门户?
OpenAI超级对齐团队负责人Jan Leike,在前不久愤而宣布辞职后,刚刚公布了自己的新去向——入职Anthropic。
Anthropic,俨然已经成为OpenAI离职人员的「避难所」,OpenAI价值观对立面的大本营。
Jan Leike开心表示:自己非常高兴能加入新团队,继续执行超级对齐任务。
在Anthropic的新团队,自己会致力于可扩展的监督、弱到强的泛化和自动对齐研究。
我很高兴加入AnthropicAI,继续超级对齐的使命!我的新团队将致力于可扩展监督(scalable oversight)、弱到强的泛化(weak-to-strong generalization)和自动对齐研究(automated alignment research)。如果你有兴趣加入,请私信我。
当初,Anthropic就是由OpenAI的「叛逃」员工创立的。
在2021年,Dario Amodei因为在安全观念上与OpenAI严重不合,而且极度不满OpenAI日益增长的对于商业化的关注,出走后创建了老东家的对家。
并且,Amodei还一并带走了OpenAI的政策负责人Jack Clark。
毕竟,Anthropic一直将自己定位为比OpenAI更注重安全的公司——
不仅会把更多资源倾斜给了模型安全,而且对齐做得也要好得多。
发布至今,Claude 3已经获得了业内人士和用户的齐声称赞,在使用量上成为了ChatGPT的最大竞品之一,指令遵循的能力也比GPT-4要强。
在最新的LMSYS排行总榜上,Claude 3 Opus排在第六名,与GPT-4-Turbo的得分非常接近,而且获得的投票数非常高,仅次于开源的Llama 3。
Anthropic成立全新团队,迎接Jan Leike
并且,Leike还发出英雄令,呼吁大家一起加入自己的对齐团队——
如果你对大模型的安全想做一番贡献,如果你也对OpenAI的理念感到无法认同,就赶快到这里来吧!
现在,Leike的团队已经在紧锣密鼓地组建中。
在Anthropic,专门有一帮从事可扩展监督研究的研究者,他们正在研发的技术,目的就是以可预测和理想的方式控制大规模AI。
据悉,这些研究者将向Leike汇报工作,而Leike将直接向Anthropic的首席科学官Jared Kaplan报告。
听起来,OpenAI最近解散的超级对齐团队,这是被齐齐整整地搬到OpenAI了?
此前,Leike的超级对齐团队本来立下了雄心勃勃的目标——在四年内解决控制超级AI的核心技术挑战。
然而前不久的一场宫斗才让我们知道,超级对齐团队在OpenAI着实受了不小的委屈。
据团队内的一名成员透露,他们得到了公司承诺可以获得20%的算力,但要求访问这些计算资源时却经常被拒绝。
这种说法也可以从Jan Leike的推文中得到印证。
宣布辞职当天,他发布了多条推文,暗示了超级对齐团队的工作在OpenAI内部并没有得到应有的重视,因此和公司领导层发生了无法调和的冲突。
当初加入是因为我认为OpenAI将是世界上进行这项研究的最佳场所。
然而,相当长一段时间以来,关于公司核心优先事项,我一直与OpenAI领导层的观点存在分歧,最终达到了临界点。
我认为我们应该花更多的精力为下一代模型做好准备,涉及保障、监控、准备、安全、对抗鲁棒性、(超级)对其、保密性、社会影响和其他相关议题。
这些问题很难解决,而且我担心我们还没有走上正确的轨道。
在过去的几个月里,我的团队一直在逆风航行。有时我们在算力方面遇到困难,完成这项重要的研究变得越来越困难。
一位匿名OpenAI员工将这个过程形容为「对公司和奥特曼本人的信任一点一点崩溃,就像多米诺骨牌一张一张倒下」。
总之,事情的结局就是,Ilya和Leike先后宣布离开OpenAI,这场「分手」怎么看都不像很愉快。
Ilya的下一步是什么?
辞职不久的Jan Leike已经定下了去处,但GPT-4o发布后最先出走的Ilya Sutskever目前还没有消息。
作为OpenAI的联合创始人、AI圈的顶流科学家,Ilya的辞职引发了纽约时报、CNN、时代杂志等多家媒体的跟踪报道。
在当初宣布辞职消息的推文中,Ilya透露自己找到了下一步心仪的项目,他形容为「对我个人非常有意义」,并将在适当的时候分享。
外媒The Information,最近也撰文一篇,对Ilya的去处展开了一番大猜测。
记者猜道,Ilya或许会加入OpenAI的直接竞争对手公司,比如Anthropic,或者马斯克的xAI。
当然,他也有可能会像Dario Amodei一样创办自己的公司,直接跟前雇主竞争。
无论是哪种选择,他跟Sam Altman的关系,恐怕都会加剧紧张。
如果Ilya选择创办自己的公司,在吸引投资方面应该不会有任何困难。
当然,这其中也有一些细节需要厘清。
比如曾向OpenAI投入巨资、让OpenAI过快发展AGI、导致Ilya担忧的那些硅谷AI投资者,Ilya是否愿意向他们筹集资金呢?
风投中一向有避免投资竞争对手的规矩,这些风投家是否愿意打破规则呢?
其中,红杉资本、a16z、Thrive Capital、Khosla Ventures和Founders Fund等许多公司都是OpenAI的投资者。
而Thrive和Khosla,与OpenAI和Altman关系尤其密切。因此,他们不太可能会向Ilya提供资金支持。
而红杉资本和a16z的态度就不确定了。虽然他们希望与Altman保持良好关系,但同时也表现出了和OpenAI竞品合作的意愿。
比如上周末,马斯克xAI官宣了一轮60亿美元的融资,红杉和a16z就都有份参投。
虽然许多创始人很不喜欢自己的投资者与竞争对手分享敏感信息,但非常多的投资者认为,鸡蛋不能放在一个篮子里。
在如今的生成式AI浪潮下,最终胜出的玩家如今尚不明朗,在多个LLM上下注,绝不不失为一种明智的选择。
而如今万众瞩目的Ilya,无疑就是通向AGI竞赛中的一匹黑马。
他的最大卖点,就是他的模型可以防止AI可能引发的灾难。
对于某些投资者来说,这是个无法拒绝的诱惑。
MGA: Chapter 338 - Slight Mastery of Dragon Travelling
2023-05-13Absolute Resonance Chapter 0692: The Source of Corruption
2024-03-03