苹果的多个App都集成了GPT-4o,包括Siri;
苹果有超过22亿台活跃设备,这使Siri有望成为超级入口;
苹果不想那么依赖OpenAI,它在「Apple Intelligence」功能中对自研模型的调用优先级高于GPT-4o;
「Apple Intelligence」功能免费向用户开放,但iPhone 15 Pro及以上设备才能使用,且「Siri和设备语言都需设置为英语(美国)」;
集成了GPT-4o的Siri更强大了,用户可能因Siri减少对ChatGPT的使用,但能否因它更换新款iPhone也要打个问号。
跟外界预期的一样,北京时间6月11日凌晨,苹果在其年度开发者大会WWDC 2024上推出了大量AI功能,包括图像生成、表情符号生成、更加智能的书写、邮件总结,以及更加聪明的Siri。
苹果为这一系列AI功能命名为「Apple Intelligence」(苹果智能),简称与Artificial Intelligence一样,都是AI。
苹果新发布的一系列AI功能称为「Apple Intelligence」。
为实现这些功能,苹果集成了来自OpenAI的最新模型GPT-4o。不过苹果软件工程高级副总裁Craig Federighi在发布会后一个小型活动上称,GPT-4o只是苹果集成的第一个第三方模型,未来可能还有更多第三方模型被集成到苹果设备中,包括Google旗下的Gemini。此前,《华尔街日报》也曾于3月报道称,苹果还曾与百度初步谈判,以在其中国设备(比如iPhone)中使用后者的生成式人工智能技术。苹果从未证实这一传闻。
不过和外界预期不同的是,发布会结束后,苹果股价一度下跌1.9%。有分析师称,这场发布会缺乏亮点,不足以改变对今年iPhone出货量的悲观预期。
新Siri可以跨App理解用户需求,但只有iPhone 15 Pro及以上的用户才能用
新版Siri强大了许多。除了能够理解更复杂的语言文本,即使用户说话结巴或口误也能理解其意图,Siri还能访问设备上的应用程序,读取用户屏幕上的内容,并综合利用多个App的信息处理用户需求。例如,如果收到朋友发送的地址,用户可以要求Siri将其添加到联系人信息中;或者在用户想要改变一个会议的排期,但又想知道这是否会影响他按时参加女儿演出时,Siri也能跨App分析出「女儿」指的是谁,从相应App中获取女儿发送的演出详情、会议时间和地点,并预估办公室和剧院之间的行程时间,帮助用户做出合理安排。
Siri的图标变了。
交互方式上,用户可以继续像过去那样用语音呼唤Siri,它会在设备屏幕边缘以动态光晕效果现身;此外,更新后的Siri还支持用户通过输入文字的方式与其交互,就像使用ChatGPT那样。
Siri的屏幕边缘以动态光晕效果。
在Siri之外,「Apple Intelligence」提供的生成式AI功能也像微软的Copilot那样无所不在,提供帮助用户校对、改写文本、总结邮件或会议内容、生成相应的emoji表情或修改照片背景等一系列功能。
包括Siri在内的一系列「Apple Intelligence」功能都免费向用户开放,将于今年秋季在iOS 18、iPadOS 18和macOS Sequoia等操作系统更新中推出。
一个更加聪明、能够跨App理解和调用应用程序的能力有望使Siri成为生成式AI时代的超级入口——至少降低不少应用程序的日活水平,包括ChatGPT本身的日活。苹果2023年第4季度财报显示,其产品阵容中有超过22亿台活跃设备正在使用中。即使只算iPhone,第三方机构Backlinko估计iPhone全球活跃用户也有13.34亿之多。而根据Sam Altman的说法,ChatGPT每周的用户量约为1亿。
不过,只有有限数量的设备可以访问苹果的这一系列AI功能。苹果称,新功能适用于iPhone 15 Pro和15 Pro Max、iPad以及配备了M1或更新芯片的Mac。意味着用户若想尝鲜大概率需要更换设备, iPhone 15 Pro和15 Pro Max都是苹果2023年9月才发布的最新款手机。
而且,秋季上线的「Apple Intelligence」需要「Siri和设备语言都设置为英语(美国)」。苹果没有对其他语言版本的「Apple Intelligence」功能何时上线给出时间表,也没有说明中国用户是否需要等苹果与中国大模型公司谈定合作才能用上相似功能。如果中国用户不能用上这些功能,下一代iPhone的销售恐怕也不太乐观。
自研模型调用优先级高于GPT-4o
发布会上,苹果确认了与OpenAI的合作关系,用户将能够在苹果设备上调用GPT-4o的强大功能。但是,OpenAI的模型只是Apple Intelligence模型架构的一个部分,其调用的优先级排在苹果自研模型之后。
ChatGPT 将集成在 iOS18、iPadOS18和 macOS Sequoia 中。
Apple Intelligence的模型架构主要由3部分组成,分别是自研的端侧模型、云端模型和GPT-4o等第三方模型。为了让模型处理多种类型的AI任务,Apple Intelligence还采用了适配器层(adapter layers)的模块组件,能够嵌入到预训练模型的不同层中,对模型进行特定任务的精细调整。
处理AI任务时,系统会优先调用设备端的模型,利用自身芯片完成计算任务。苹果官方发布的技术报告显示,Apple Intelligence端侧语言模型拥有约30亿参数,其在iPhone 15 Pro上的处理速度达到每秒生成30个token,初始响应延迟仅为大约0.6毫秒。所有在端侧处理的数据均保留在本地,从而最大限度地保障用户隐私。
「新皮层」曾报道,今年2月以来,苹果已发布了一系列小型模型,包括可以读懂iPhone屏幕的多模态理解模型ReALM(Reference Resolution As Language Modelling)和Ferret-UI(雪貂-UI)。4月,它还发布过一系列名为OpenELM(开源高效语言模型)的语言模型,提供2.7亿、4.5亿、11亿和30亿等多个规格的参数量。
对于无法在端侧处理的请求,Apple Intelligence会调用云端算力来处理,即苹果所称的「私密云计算」(Private Cloud Compute)。从苹果官方发布的测评结果看,苹果云端模型的处理能力与GPT-3.5相当。苹果强调,只有与任务直接相关的数据才会被发送到云端处理,并且这部分数据不会被存储,苹果只会在处理用户的主动请求时上传信息,并且通过可验证的隐私机制来保证安全。
苹果的模型能力不及OpenAI,这也正是苹果选择接入第三方模型的原因。具体任务执行中,当Siri判断该问题需要更深入的答案时,会自动提示用户调用GPT-4o,获得用户确认后,Siri才会将相关问题、图片或文档发送至GPT去处理。用户无需创建新的OpenAI账户或下载应用,就可在苹果设备端免费使用GPT-4o的功能,苹果强调用户发送的数据和请求不会被OpenAI存储。而且,ChatGPT高级订阅用户还能够通过Siri和苹果其他集成了ChatGPT的App访问ChatGPT的付费功能。
苹果并不想和OpenAI深度绑定,其想要集成的第三方模型不止OpenAI一家。Craig在发布会后对外表示:「我们期待未来与其他模型集成,例如Google的Gemini模型。」
iMessage支持卫星连接。
目前,苹果提供的Apple Intelligence套装中并未包含Google那样的「Circle to Search」服务。今年1月,Google与三星合作,首次提出这种AI搜索功能,让用户无论聊天、浏览社交媒体,还是查看PPT文档,只要对屏幕上的任何内容有进一步了解的意愿,都可以伸出手指、圈中它,然后按下Home键——就可以一键召唤Google。
iPadOS 18上有了更强大的计算器
本次更新中,iPad上不仅有了官方计算器,而且该计算器相较于iPhone版还新增了「数学笔记」功能,支持使用Apple Pencil手写输入。用户只需在数学表达式后写下「等号」或一系列数字后划下一条横线,计算器就能根据情境理解用户是要做加法还是任何复杂计算。如果更改了计算变量,结果也会同步更新,应用甚至能够实时绘制函数图像。苹果没有表明这些数学能力基于什么样的AI模型。
「数学笔记」功能演示。
这是iPad发布14年后内置的首个官方计算器,该发布也在WWDC上获得了最多掌声。自2010年iPad首次发布以来,用户一直依赖网络浏览器或第三方应用来完成基本的数学计算。一位自称是苹果前员工的用户称,在iPad发布的前一个月,苹果创始人乔布斯要求软件部门高级副总裁斯科特·福斯托尔(Scott Forstall)重新设计计算器应用,拒绝了直接将iOS端的计算器应用放大到iPad上的方案。自此,多年来,设计一款更大屏幕上的计算器应用成了困扰苹果的难题。Craig在WWDC 2020时曾提到,「我们希望能够把原生的iPad计算器应用做得更好,但老实说,我们还没有达到那个水平。」
此外,iPadOS 18还引入了「智能脚本」功能,利用机器学习技术优化手写笔迹,使笔记和数学公式更加易于阅读和理解。苹果还宣布,这些计算器软件的更新也将出现在新的macOS系统macOS Sequoia中,预计将在今年晚些时候与iPadOS 18一同推出。
在iPhone和iPad之外,苹果也更新了Vision Pro和Mac的操作系统,不过除了统一的AI(Apple Intelligence)功能,其中值得关注的更新就没有那么多了。一个与中国市场有关的消息是,Apple Vision Pro将于6月28日在中国、日本、新加坡等地区发售,国行版售价高达29999元。
Apple Vision Pro将于6月28日在中国发售。
「Apple Intelligence」让Siri更强大了,但中国用户可能用不上。即使所有用户都能用上了,能否因它更换新款iPhone也要打个问号。发布会结束后,不仅苹果股价一度下跌,其供应商LG和立讯精密的股价也大跌,跌幅分别为9.5%和4.1%。其中LG跌幅为2022年9月以来最大。