作者 | 黄雯雯
编辑 | 硬 AI
本周， “AI独角兽”Anthropic首席执行官兼联合创始人Dario Amodei参与了访谈，对AI行业的发展、Scaling Law（规模定律）等进行了探讨。
Scaling Law（规模定律）主要指的是随着数据和计算能力的增加，模型的能力也会增强。Amodei认为如果这一规律继续成立，那么AI将有可能变得非常强大，带来新的商业模式和技术创新。
然而，他也强调称这一定律并非永远适用，如果在某些方面模型的性能无法进一步提升，整个AI行业可能都会受到影响。
Amodei还重点将AI行业与光伏行业进行了对比。他用光伏行业的例子来说明，即使一个技术在市场上变得非常重要并广泛应用，它可能仍然很难为单个公司带来高额利润。
虽然光伏技术几乎撼动了整个能源产业，但其市场高度商品化，竞争激烈，缺乏显著的品牌效应，因此各公司的盈利能力都受到一定限制。
和光伏行业相似的是，AI技术的市场规模可能也非常庞大，但是从中获利的难度可能也很高。AI的盈利模式可能会受到多个因素的影响，如模型的计算成本、推理成本等，硬件提供商、模型开发者和应用层之间的利润分配也相当复杂，面临不小的挑战。
谈话要点如下：
1.要将Scaling Law（规模定律）与商业问题完全分开讨论是有些困难的。
2.在市场如此庞大的情况下，我的初步回答是，收益会流向所有这些地方。
3.如果Scaling Law（规模定律）是正确的，那么这将是一个非常巨大的市场。即使只有10%的利润流向供应链的某个部分，它仍然是非常巨大的。
4.如果我们在构建拥有百亿或千亿参数的模型，可能不会有超过四五个实体（也许还有一些国有企业）参与其中。所以我们看到的可能是更像寡头垄断而不是完全垄断或完全商品化。
5.即使发布了这样的模型，这种大模型在推理上的运行成本非常高，大部分成本在推理而不是模型训练上。如果你有更好的推理方法，即使只有10%、20%或30%的改进，也能产生很大的影响。
6.我们有更大、更强大的模型和更快、更便宜、更不智能的模型，一些客户发现大型模型可以分配任务给大量小型模型，然后汇报给大型模型，像蜂群一样完成任务。
7.没有人应该相信Scaling Law（规模定律）会永远继续，这只是一个经验观察，可能随时停止。我观察了十年，我猜它们不会停止的依据只是基于观察时间的长短，这只是一个60-40或70-30的命题。
8.如果我们能够正确使用AI，它可以将我们发明这些发现的速度提高10倍，也许100倍。
访谈全文如下，部分内容有删减：
01
Google没能成为人工智能时代的贝尔实验室
Noah Smith：
在这个经济学播客中，我们更喜欢谈论经济学方面的内容，而不是纯技术方面的内容。那么，Google是人工智能时代的贝尔实验室吗？
他们做出了现代深度学习和Transformers等的研究，但他们并没有真正成功地商业化，就像贝尔实验室一样。他们用垄断资金资助了这些研究，然后你这样有趣的人在那里工作，之后离开创办公司，就像贝尔实验室的Fairchild公司的人一样。你觉得这是一个恰当的比喻吗？
Dario Amodei:
虽然没有什么是完美的类比，但我肯定认为这其中有一些道理。很多人将其视为学术生涯的延续，这与贝尔实验室的工业环境非常相似，只是谷歌拥有更多的资源来实现目标。因此，人们在研究许多项目。Transformer是推动这一领域的关键发明之一，这只是大约一百个正在研究的项目之一。
如果你在组织的高层，你将无法合理区分它和其他99个正在研发的项目。这就像百花齐放，彼此竞争。我想就是在那个时候，我首次提出了Scaling Law（规模定律），我们需要将这些创新大规模扩展并整合起来。
理论上，谷歌是最适合这样做的地方，他们拥有世界上最大的集群，拥有大量有才华的工程师，具备所有的必要元素。然而，谷歌的组织架构是为了搜索服务，我不认为它必然是为了将所有这些部分结合起来并大规模扩展出一些与之前业务完全不同的东西。
Noah Smith：
就像贝尔实验室不是为了发明计算机并让每个人都有一台计算机而设立的，它是为了接线每个人。
Dario Amodei：
没错，它是一家电话公司。所以，我不能代表谷歌发言，但显然现在他们除了发明所有这些惊人的东西之外，他们也是拥有前沿模型的四大公司之一，既是我们的合作伙伴，也是我们的竞争对手。我认识那里的很多人，他们非常聪明。
但我认为你是对的，有一段时间如果他们能够以正确的方式将这些元素结合起来，他们可能会成为唯一的主导者。但无论出于什么原因，事情没有朝那个方向发展。
02
Scaling Law（规模定律）：
随着数据规模增大，模型的能力越强
Noah Smith：
这引出了我们正在思考的另一个问题。实际上，我们与您对话的想法来自于我们在另一个播客中讨论的内容，当时我们主要在谈论互联网业务的经济学，然后有人提出了一些对AI业务的悲观看法，质疑AI公司到底有多少经济护城河（Economic moats）。
显然，这与Anthropic公司和其他我们称为初创公司的公司密切相关，但它们已经相当大了。所以，请告诉我们您对AI公司经济护城河的看法。
Dario Amodei：
我会说我要把这个问题稍微分成两个分支。我认为，要将Scaling Law（规模定律）与商业问题完全分开讨论是有些困难的。所以，我们来考虑一下在某种非常强的形式下Scaling Law（规模定律）成立的情况，然后再考虑它可能部分成立或完全不成立的情形。如果在非常强的形式下成立，情况是这样的：
现在你训练了一个拥有一亿参数的模型，它的能力相当于一个优秀的大学一年级生；
接着你训练了一个拥有十亿参数的模型，它的能力相当于一个优秀的本科生；
你训练了一个拥有百亿参数的模型，它的能力相当于一个顶尖的研究生；
当你训练到一个拥有千亿参数的模型时，它的能力相当于一个诺贝尔奖得主。
然后你就把这个模型投入使用，基本上为每个人服务，它会成为你的同事，成为你的个人助理，帮助国家安全，帮助生物学研究。
我认为在那样的世界里，这个系统和基于该系统的产品将在经济中占据很大份额。仍然存在一个问题，那就是收益会流向哪里？是流向英伟达一方，还是流向人工智能公司，抑或是流向下游应用？在市场如此庞大的情况下，我的初步回答是，收益会流向所有这些地方。
03
AI的未来将类似光伏行业
Noah Smith：
但想想太阳能，太阳能显然会变得非常重要。我们需要的能源越多，太阳能的应用就会越广泛。然而，很难说出哪家太阳能公司赚了很多利润。太阳能是一种非常商品化的产品，尽管其中有很多创新，但没有品牌效应，没有网络效应，也没有任何锁定效应，任何一家太阳能公司都很难在这件事上赚到利润，而这件事正在我们眼前彻底改变整个世界。
因此，我不完全确定是否仅仅因为一切都会像现在的太阳能一样蓬勃发展，就一定会导致公司获得利润。不过，我当然也开放这种可能性。我只是想知道，你认为来源是什么？为什么人工智能的发展不同？
Dario Amodei：
太阳能？我认为这里有两点，因为我认为这在大多数世界中都是一个重要的问题。也许我只是想说，如果Scaling Law（规模定律）是正确的，那么这将是一个非常巨大的市场。即使只有10%的利润流向供应链的某个部分，它仍然是非常巨大的。
就像你把“蛋糕”做大了一样，这成为了最有趣的问题，尽管那些决定如何分配美元钞票的人肯定会非常关心一万亿流向哪里。但让我们回到你的问题，因为我认为它在全世界都很重要。问题的关键在于你正在分配的“蛋糕”有多大。
首先，在模型方面，这取决于Scaling Law（规模定律）。如果我们在构建拥有百亿或千亿参数的模型，可能不会有超过四五个实体（也许还有一些国有企业）参与其中。所以我们看到的可能是更像寡头垄断而不是完全垄断或完全商品化。
我想这有一个问题是，是否会有人发布一个拥有十亿或百亿参数的开源模型？我对此持怀疑态度，即使发布了这样的模型，这种大模型在推理上的运行成本非常高，大部分成本在推理而不是模型训练上。如果你有更好的推理方法，即使只有10%、20%或30%的改进，也能产生很大的影响。经济学上有点奇怪，这是一个巨大的固定成本，你必须摊销，但也有推理的单位成本，在这个假设下，部署得足够广泛的话，差异会很大。我不确定这一点会如何发展。
Noah Smith：
这实际上类似于重工业的经济学，比如制造钢铁的方式。
Dario Amodei：
是的，有一点。有趣的是，我想说的另一件事是，在这些模型中，我们已经开始看到模型具有不同的个性。因此，商品化是一种可能性，但即使在寡头垄断中，某些模型的部署方式也可能会被商品化，尽管我不确定。
但一种反对这种观点的力量是：嘿，我做了一个擅长编程的模型，你做了一个擅长创意写作的模型，第三个人做了一个擅长娱乐的模型。这些是选择，一旦你开始做出这些选择，你就开始围绕它们建立基础设施，这似乎为某种程度的差异化创造了前提条件。
另一个可能导致差异化的是基于模型构建的产品。理论上你可以将模型层与产品层分开，实际上它们是相互关联的，跨组织工作可能具有一定挑战性。因此，虽然在模型方面有一个共同的逻辑，许多公司都在同一个方向前进，增加多模态功能，使模型更智能，使推理更快，但产品是如此不同。
如果你看看我们做的这个“Artifacts”项目，它是一种实时可视化模型编写代码的方式。我们这样做，OpenAI有他们自己的做法，Google也有他们的做法。我认为这也是公司之间差异化的来源之一。
我们已经发现，基于模型销售应用程序的经济学，即使是相对较薄的应用程序，也在变得越来越厚。
Erik Torenberg：
如果Scaling Law（规模定律）成立，事情变得像我们认为的那样大，你是否预计这些公司会在某个时候被国有化？或者你怎么认为？
Dario Amodei：
我们可以分成两种情况：一种是Scaling Law（规模定律）是正确的，另一种是Scaling Law（规模定律）是错误的。如果它是错误的，那么这只是一项技术，像互联网或太阳能一样，可能比大多数技术都重要，但不是前所未有的。基于目前的发展情况，我不认为它会被国有化。
如果它是正确的，我们正在构建的模型像诺贝尔奖得主那样优秀的生物学家和顶级的行业编码人员甚至更好。我不确定是否会真的国有化，我们会非常关心对手是否能够跟上我们，或者我们是否能够像对手一样快地部署它们。
04
Scaling Law（规模定律）
影响AI创造新的商业模式
Noah Smith：
我有一个关于人工智能对商业模式影响的问题。你知道电力的故事，基本上一开始当他们得到电力时，制造商试图拆除他们的蒸汽发电机，发电机有损耗。而后来有人发现可以并行运行电力到多个工作站，这改变了制造业的工作方式，而不是一个大装配线转变为多个小工作站进行工作，这在几十年里带来了巨大的生产力提升。
我一直怀疑AI是类似的。我认为互联网也类似，AI相似之处在于，起初每个人似乎都在想AI是一个人。有人实际上把AI的数量与人类员工的数量进行比较，这对我来说没有意义，因为它不能分割成个体。
你可以做一个基于代理的系统来模仿这种方式，但为什么呢？我看到每个人都在考虑AI直接替代人类，而我的论点是这是第一阶段，就像电力直接替代蒸汽锅炉不是个好主意一样。我认为人们会有点失望，因为只有少数情况下这种直接替代人类的方式有效，比如客户服务和一些其他定义明确的事情。
但我认为只有少数情况下这种直接替代人类的方式有效，然后我们会经历Gartner炒作周期的破灭。
一些创造性的企业家会说，我们不只是用人工智能作为人类替代，而是用它来创造新的商业模式。然后我们会看到一个复兴的繁荣期，这是我的预测。我的Gartner式预测，我疯了吗？
Dario Amodei：
所以我认为这是我同意的一些事情和我可能不同意的一些事情的混合。首先，我基本同意，如果你冻结当前模型的质量，你所说的都是正确的。我们在商业活动中基本上观察到类似的事情。我们提供可以与之对话的模型，但也通过API向许多客户出售模型。人们花了很长时间来弄清楚如何最好地使用模型。
关于模型可靠性的问题很多，我认为这是一些担忧的原因，比如一个模型95%的时间给出正确答案，但5%时间内没有给出正确答案，这如何检测这些情况以及如何处理错误处理非常重要。这与理论上有用和实际上有用是非常不同的。
我们早期有一个功能可以让模型写一些代码，然后你可以将代码粘贴到编译器或解释器中来制作JavaScript视频游戏，出现问题时你可以回到模型并进行修正。我们也看到大型模型协调小型模型，这与将模型看作一个人的想法非常不同。
我们有更大、更强大的模型和更快、更便宜、更不智能的模型，一些客户发现大型模型可以分配任务给大量小型模型，然后汇报给大型模型，像蜂群一样完成任务。
我们还在探索使用模型的最佳方式，模型变得越来越智能，解决这些问题的能力也越来越强。所以这最终回到了Scaling Law（规模定律）是否会继续。如果它们继续，这将是一个你描述的过程。如果它们停止，创新也会停止，你描述的过程会结束。
没有人应该相信Scaling Law（规模定律）会永远继续，这只是一个经验观察，可能随时停止。我观察了十年，我猜它们不会停止的依据只是基于观察时间的长短，这只是一个60-40或70-30的命题。
Erik Torenberg:
什么会改变你的看法？什么会改变你在那里的胜算？
Dario Amodei：
我认为，首先，如果我们只是训练一个模型，然后尝试下一个规模的模型，但效果非常糟糕。我们尝试了几次解决问题，但仍然没有成功，我会觉得，哦，我猜这个趋势正在停止。
如果在数据用尽方面出现问题，我们无法生成足够的合成数据来继续这个过程，那在某个时刻我会说，嘿，这实际上看起来很难，至少这个趋势会暂停，可能会停，但可能不会停。我仍然猜测这些事情不会发生，但你知道，这是一个非常复杂的问题。
05
AI可将生物学的发现速度提高100倍
压缩世纪进步时间
Noah Smith：
如果AI资源的瓶颈更多在于计算能力而不是能源，那么我们在利用AI方面会有更多的比较优势,你基本同意这个观点吗？
Dario Amodei：
是的，我认为这有道理。你的意思是，使用一个有点荒谬的比喻，如果AI像赛博人那样，制造和培育它们的过程非常类似于人类，那么我们就麻烦了。但如果它只是某个地方的服务器集群，输入完全不同，那么我们就没问题。
我还没有深入思考过这个问题，但乍一听似乎很有道理。如果我们处在一个AI重塑世界的情况下，经济结构已经发生了变化，那么我们可能在讨论一些不同的东西。但是，如果经济学的常规规则仍然适用，我认为它们在一段时间内会适用，那么这听起来非常合理。
Noah Smith：
但我的另一个问题是，是否有必要考虑一个极端丰富的世界？AI如此强大，以至于它为我们提供了惊人的生物学和制造业，让我们想要的一切都变得好十倍、百倍等等。
Dario Amodei：
我认为我们真的低估了人工智能在生物学中的潜力。十年前，当我在这个领域时，态度是，我们从生物学中获得的数据质量存疑，我们能获得的数据量有限，实验往往受到干扰。当然，更多的数据分析、大数据和人工智能是很好的，但最多也只是辅助角色。也许随着Alpha Fold的出现，这种情况有所改变。
但我的看法是，AI模型可以充当生物学家或共同生物学家的角色。如果我们考虑真正高级的生物学，就像它真的不成比例地有几种技术为一切提供动力。例如，基因组测序，就是读取基因组的能力，这是现代生物学的基础。最近的CRISPR技术，就是编辑基因组的能力。如果我们能够正确使用AI，它可以将我们发明这些发现的速度提高10倍，也许100倍。
以CRISPR为例，它的组装来自细菌免疫系统，它花了30年才发明出来。我认为，如果我们能够大大提高这些发现的速度，我们也将大大提高治愈疾病的速度。
我的想法是，我们是否可以压缩21世纪的进展？我们是否可以在21世纪利用AI加速10倍的情况下取得所有的生物学进展？如果你想到我们在20世纪生物学上取得的所有进展，然后将其压缩到五到十年内，对我来说，这就是好的一面。我认为这可能是真的。我们可以治愈困扰我们千年的疾病，这当然会极大地提高生产力，扩大经济蛋糕，延长人类寿命。