面对OpenAI的贴脸开大，谷歌原地回击：深夜推出多模态Agent

面对OpenAI的贴脸开大，谷歌选择原地回击。

今天凌晨1点（北京时间），谷歌在2024年I/O大会上放出大招——

更强的多模态Agent助手Astra，能实时理解镜头内外的世界。

多模态和长文本是本次发布的关键词，谷歌CEO桑达尔·皮查伊表示，多模态和长文本相结合，扩展了我们可以提出的问题类型，也扩展了我们可以得到的答案类型。

Gemini系列模型卷起了长文本，1.5 Pro的上下文窗口将扩展到200万个token；新发布的Flash是轻量级模型，定价每100万个token35美分，远低于GPT-4o 5美元的价格。

搭载了Gemini的谷歌家族产品也华丽升级：谷歌搜索支持输入视频提问，还将上线“AI概述”的结果页面；安卓系统手机内置AI助手，图上画个圈就能全局搜索。

AIGC方面，更逼真的图像生成模型Imagen 3发布；全新的视频生成模型Veo剑指Sora，可生成时长超60秒的高清视频……

皮查伊称目前有20亿用户在使用Gemini，Gemini时代刚刚拉开帷幕，谷歌希望最终让AI造福每个人。

“头号AI玩家”全程围观了直播，以下是我们梳理的本次主旨演讲的要点。

多模态Agent来了，

Gemini精准打击GPT-4o

众所期待的Agent（AI智能代理）终于来了。

谷歌在I/O大会上分享了新项目Project Astra，一个不亚于GPT-4o的AI智能助手，可以像人一样了解周遭的复杂世界，在日常生活中提供实时帮助。

比如在办公室里开着摄像头转一圈，AI能识别出画面中的物品，解释正在写的代码，判断所在的地理位置。

演示视频中，官方还展示了如何将Astra与AR眼镜相结合，这也成为其中一个亮点。戴上眼镜后，Astra的回答会实时显示在眼前，比如帮助修改白板上的流程图时，会用箭头指出修改位置。

不过，与昨天OpenAI推出的GPT-4o相比，后者在演示中展现了更多令人惊喜的情感丰沛的互动，虽然也有即刻网友评论，“感觉OpenAI想为每个人打造自己的专属舔狗”。

此前谷歌刚发布Gemini时，其多模态交互演示视频还需要经过剪辑，如今发布的Astra视频特意强调了是“一次性实时拍摄的”。

Agent是一种智能系统，可以了解多模态信息，提前规划多个步骤，并代表用户采取行动。从演示来看，Astra延迟低、反应快、互动自然，仿佛就是身边的一个专家助理。

此外，谷歌还公布了Gemini系列模型的最新进展。

Gemini 1.5 Pro的上下文窗口将扩展到200万个token，可以处理数百页文档，并向开发人员提供私人预览版。

面向全球开发者开放的Gemini Advanced则提供长达100万token的上下文窗口，支持超过35种语言。

Gemini Advanced将在几周内上线新的数据分析功能，晚些时候还会增加旅行计划功能，通过高级推理创建个性化的行程。

Gemini 1.5 Flash是新推出的轻量级模型，针对低延迟和低成本任务进行了优化，可以更高效率地部署。开发人员即日起可在Google AI Studio和Vertex AI中使用，上下文窗口可达100万token。

Gemini的Gems功能将在今年夏天推出，类似于GPTs，可通过Prompt设置为不同专长的AI助理。

同时，作为原生的多模态模型，Gemini的语音和视频能力迎来升级，即将上线的“Live”功能，其逼真程度可以说是对标GPT-4o。

你能与Gemini进行更深入的双向对话，回答中可以随时打断，打开摄像头，Gemini就能看见和理解周遭发生的一切。看来AI头号玩家们的理想AI助手都有电影《Her》的影子。

新增图像视频搜索，

AI一键联网总结

随着ChatGPT、Copilot等AI产品席卷全球，用户获取信息的方式正悄然改变，本次谷歌的当家产品“谷歌搜索”率先迎来了重大升级，集成了最新的智能代理助手。

在搜索时，你可以通过视频提问，比如录一段视频问道：“为什么这个放不上去？”

Gemini能理解问题是视频中的唱片为什么不能固定在唱片机上，并迅速搜索文章、论坛、视频等全网信息，给出解决办法。

相比传统的搜索结果罗列，如今有了Gemini加持的谷歌搜索还将上线全新的搜索结果整合功能“AI概述”（AI Overviews）。

比如在现场演示中，当我们想要在波士顿找到最好的瑜伽或普拉提工作室，并在结果中显示它们的入会优惠信息，以及与住址的距离。

Gemini一次搜索就能获得所有信息，并组织呈现出有条理的搜索结果页面。

据介绍，谷歌搜索升级后支持多步骤推理功能，可以将大问题分解为若干部分，并找出要解决的问题以及解决的顺序，因此原本可能需要花费数分钟甚至数小时才能得出的结果，现在可以在几秒钟内完成。

“AI搜索概述”功能将在美国率先推出，未来将覆盖10亿用户。

此外，在手机端，谷歌相册（Google Photos）即将推出的一项新功能“Ask Photos”。

在图片上画个圈，就能搜索指定的对象，比如搜索带有车牌号的照片，或者问问“最近女儿游泳学得怎么样”，Gemini能理解复杂的语境，轻松找到对应的照片和视频。

AIGC模型上新，

Veo可生成超60秒高清视频

在图像、音乐、视频领域，谷歌都分别都发布了新的模型或产品。

图像生成

谷歌推出了迄今为止最高质量的文本到图像生成模型Imagen 3，生成的图像细节更丰富、更真实，而且能理解复杂文本提示。

Imagen 3生成

音乐生成

谷歌和YouTube共同打造了Music AI Sandbox，这是一套专业的AI音乐创作工具，可以帮助创作者从0开始快速创作。

视频生成

谷歌发布了最新的视频生成模型Veo，只需一个文本、图片或视频提示，即可创建超过60秒的高质量1080p片段，支持多种电影风格，包括写实主义、超现实主义、动画等。或许未来每个人都会成为导演。

以上这些AIGC模型，目前都可以在labs.google上申请试用。

谷歌全家桶AI升级，

安卓手机抢先搭载AI助手

不出所料，升级后的Gemini 1.5 Pro将集成在更多的谷歌全家桶产品中，包括邮件、会议、文档等软件，以及手机等硬件设备。

比如Gmail中的Gemini能一键总结邮件内容，自己不用去多个邮件、附件中查阅，Gemini会根据语境分析，还会给出回复建议。

向Excel中的Gemini提问，不用再费力编写公式，AI会自动进行数据分析，以图表形式给出计算结果。

对于以AI为核心的手机，谷歌提到了三个关键应用：AI驱动搜索（上文提到的图片画圈搜索），系统自带的AI助手（目前安卓系统可用），AI保护隐私和安全（提示诈骗风险）。

谷歌表示，今年晚些将拓展Gemini Nano的多模态功能，新增视觉、声音、口语输入，这意味着AI手机可以帮助更多视力障碍群体等用户更好地交流和生活。

皮查伊近日在接受《The Circuit With Emily Chang》专访时提到，在技术领域，如果你不持续创新以保持领先，那么任何公司都将不可避免地走向衰败。

自2016年起，人工智能便一直是谷歌公司的核心焦点，谷歌的研究人员发明了Transformer，也就是GPT中的T。那时，OpenAI开发的ChatGPT尚处于起步阶段。

而到了如今的生成式AI时代，谷歌却屡次被OpenAI抢了风头，同时还面临着微软等竞争对手的严峻挑战。

从今年I/O大会主旨演讲发布了这么多新模型和产品升级来看，谷歌仍在坚持AI First的战略方向，无论是搜索还是AIGC应用等，AI的前沿高地必有谷歌的位置。