刚辞职的超级对齐负责人狠批OpenAI：追求华而不实的产品

刚刚OpenAI前安全总监，超级对齐大佬Jan Leike 在宣布从OpenAI辞职首次发声

如果你想了解 OpenAI 两派之间导致 Altman 在 去年11 月被解雇以及最近 Ilya 和 Jan 离开的戏剧性事件，jan的这个发声就是关键（起码能说的都说了）

opencat第一时间带来报道

Jan Leike

说了啥

辞职原因

很长一段时间以来,jan leike 一直与OpenAI领导层对公司的核心优先事项有分歧,直到最终达到了一个临界点，离职是有生以来做过的最艰难的决定之一

OpenAI优先事项

jan leike 认为OpenAI的亟需弄清如何驾驭和控制比我们更智能的人工智能系统，OpenAI肩负全人类的沉重责任

应该将更多精力集中在为下一代模型（GPT-5？）做好准备、安全性、监控、防患于未然、安全性、对抗性鲁棒性、(超级)对齐、保密性、社会影响以及相关主题上

悲壮喊话

虽然辞职了，但是希望留在OpenAI的兄弟能够变革OpenAI的文化，庄严对待所从事的工作，学会感受通用人工智能，全世界都依赖兄弟们，他也依赖兄弟们

我的看法

最近Ilya和jan的辞职应该都是同样的原因：问题不在于“他们看到了什么”，而在于他没有看到什么：资源。他和 Superalignment 团队的任务都是研究 AGI 可能存在的风险

随着ChatGPT的成功，公司的很大一部分资源被分配到该产品上并支持爆发增长的新用户，以至于偏离了一些人为了追求更安全而捍卫的原则和价值观，和更负责任的发展，这就是为什么

也许sam altman想急着赚钱，毕竟没有钱，什么都没有了，也许GPT-5真的接近了AGI，时间很快会给出答案

Jan Leike发言全文

以下是jan leike 发言全文

昨天是我在OpenAI担任对齐团队负责人、超级对齐负责人和高管的最后一天

在过去约3年里,这是一段疯狂的旅程。我的团队推出了有史以来第一个使用RLHF训练的大型语言模型InstructGPT,发表了第一个可扩展的大型语言模型oversight,开创性地实现了自动化解释和弱到强的泛化。更令人兴奋的成果即将问世

我深爱我的团队

我为能与OpenAI内外众多才华横溢、善良高效的人一起工作而感恩。OpenAI拥有如此多特别聪明、善良和高效的人才

从这份工作离职是我有生以来做过的最艰难的决定之一,因为我们亟需弄清如何驾驭和控制比我们更智能的人工智能系统

我之所以加入OpenAI,是因为我认为这将是开展这项研究的全球最佳场所

然而,很长一段时间以来,我一直与OpenAI领导层对公司的核心优先事项有分歧,直到我们最终达到了一个临界点

我认为,我们应该将更多精力集中在为下一代模型做好准备、安全性、监控、防患于未然、安全性、对抗性鲁棒性、(超级)对齐、保密性、社会影响以及相关主题上

解决这些问题是相当困难的,而且我担心我们目前的轨迹无法达到预期

在过去几个月里,我的团队一直在逆风中航行。有时我们难以获得足够的计算资源,使得开展这项至关重要的研究变得越来越困难

构建超人智能机器本身就是一项危险的努力

OpenAI为全人类肩负着沉重责任

但在过去几年里,安全文化和流程都让位于华而不实的产品

我们在针对AGI的影响做好准备方面早已落后

我们必须优先考虑尽自己所能为此做好准备

只有这样,我们才能确保通用人工智能能造福全人类

OpenAI必须成为一家以安全为先的通用人工智能公司

我想对所有OpenAI员工说:

学会感受通用人工智能

以适当的庄严对待你们所从事的工作

我相信你们能够"践行"所需的文化变革

我依赖着你们

全世界都在依赖着你们