手机AI帮你点咖啡，App们同意了吗？

Vmarketing成功营销

1天前

发红包和点咖啡一样，都是应用了“大模型视觉理解”的能力，通过识别并手机屏幕上显示的内容来完成操作，就好像模拟人类用户的“点按”操作，而非调用App的API。

来源丨腾讯科技（ID:qqtech）

作者 | 晓静 吴彬
编辑丨郑可君
对手机厂商来说，AI已经变得越来越重要。
2024年，大多数的手机厂商推出各类AI助手，可以实现一键问屏（手机直接识别屏幕内容）、圈搜（圈出图片中的部分内容并精准搜索）、AI回邮件、AI写会议纪要、AI便签、AI日程管理等功能。
其中， 用AI助手点咖啡是今年较为出圈的功能。
10月14日，原荣耀CEO赵明在直播中对着手机中的智能语音助手说：“点三杯美式咖啡”，荣耀手机就自动完成了搜索、下单的操作。周鸿祎坐在一旁直呼：“这个太可怕了。”
同样在10月，vivo也推出了手机智能体“PhoneGPT”，他们向消费者展示的AI功能也是买咖啡。
在这些视频演示中，用户点咖啡一共只需要操作两步：第一是打开手机系统自带的助手，通过语音和文字下达指令；第二是付费下单（输入密码）。
中间的跳转App和下单的过程，并非是AI直接在后台操作。而是AI模拟人类操作手机的全部过程，并在屏幕上显示出每个操作步骤。
在11月，大模型明星创业公司智谱AI推出AutoGLM，智谱AI CEO张鹏现场用它发了一个总金额2w的红包，也是只有“下达指令”和“支付红包金额”两个步骤。
发红包和点咖啡一样，都是应用了“大模型视觉理解”的能力，通过识别并手机屏幕上显示的内容来完成操作，就好像模拟人类用户的“点按”操作，而非调用App的API。也就是说，AI完成这些动作并不需要获得第三方App的同意。
因此，AI甚至可以变成一个“虚拟数字用户”，人类用户能做什么，它就能做什么。
这似乎能带来无限的想象空间，但也引发了我们的好奇：
1、AI究竟是如何做到仅通过识别屏幕，就可以操作手机的？
2、如果在一个普通手机上装一个第三方的大模型App，是不是这个手机就秒变为AI手机？
3、如果AI调用App不需要获得App的同意，移动互联网生态将会发生什么改变？

2024年，科技大厂都在努力

让AI“看懂”屏幕

先来梳理一下现阶段用AI点咖啡和发红包的流程：
1、自然语言理解：用户通过语音或文字向手机助手发出指令；
2、读懂手机界面：手机智能体通过识别手机界面，模拟人类进行点按操作。
3、跨应用协调执行：手机智能体能够在不同应用之间跳转，以完成复杂的多步骤任务。
张鹏在介绍Auto GLM时曾说，“它的应用展现了大模型从对话（Chat）走向操作（Act），从生成式AI（GenAI）迈向代理式AI（Agentic AI）的演进趋势。”
这些操作的背后，具体应用了什么关键技术？
2023年12月，智谱AI曾发表过一篇论文，名为CogAgent: A Visual Language Model for GUI Agents（《CogAgent：GUI 代理的可视化语言模型》）。
这篇论文提出了CogAgent模型，这是一种专注于GUI理解和导航的180亿参数视觉语言模型。它希望解决的问题是如何让大型视觉语言模型（VLM）更好地理解和导航图形用户界面（GUI），从而提高自动化水平。
可以说，Auto GLM是基于这项研究的产品化体现，让手机、PC等端侧设备，通过视觉语言模型，读懂手机界面，实现多步骤的连续和跨App的操作。
2024年2月，阿里巴巴也曾发布过一篇主题为Mobile- Agent的论文。主要解决如何在移动设备上实现自主的多模态代理，能够通过视觉感知和语义理解完成复杂的操作任务，并自主完成多步任务，且可以跨越多个App。
国外科技巨头也发布过类似的研究成果。2024年4月，苹果发表了一篇论文Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs（《Ferret-UI: 基于多模态LLMs的移动UI理解模型》），其中介绍了名叫Ferret UI的模型。
Ferret UI其实是建立在苹果于2023年10月就已经发布的Ferret模型之上，这个模型仅有7B和13B两个大小，是一个多模态模型。
和动辄上千亿参数规模的主流多模态大模型相比，他们实在是太小了，但是他们的专长是识别图像具体区域和定位点，这项能力甚至超过了当时最强大的多模态大模型GPT-4V。
苹果 AI / ML 研究科学家 Zhe Gan，当时在X上发布了一条推文称，Ferret可以“在一个图像中的任何地方、任何粒度上引用和定位任何事物”，它还可以使用图像中任何形状的区域来实现这一点。
通俗来讲，这意味着Ferret模型能够识别图像中指定区域的元素，并将其精确框选。
例如，如果用户在图像中圈出一个物体并询问其种类，Ferret不仅能够识别出该物种，还能理解用户所指的特定动物或植物。讲到这里，是不是立刻就能联想到今年各大手机厂商纷纷推出的“圈搜”功能。
用户可以通过圈选屏幕上的内容，快速获取相关信息，支持跨应用服务，方便用户直接跳转到所需的应用或功能，比如荣耀手机支持“一圈即搜”功能的YOYO智能体；vivo提供了“小V圈搜”功能；OPPO的“小布助手”也具备相似的圈选功能。
而Ferret UI模型，就是将Ferret模型的能力应用在手机、PC等端侧交互界面，用户用自然语言下达命令，模型能够直接“读懂”屏幕上的内容——包括App图标、屏幕上的文字。Bechmark测试表明，在iPhone环境下，Ferret UI在初级UI任务中超越了GPT4-V，在包含高级任务的全任务平均得分非常相近，在安卓环境下表现略差。
在2024年10月，苹果又发布了新的Ferret- UI 2模型，这次的升级点主要是跨平台的用户界面（UI）理解，实验结果表明，无论是在iPhone、Android、iPad、Webpage还是AppleTV上，Ferret-UI 2都能有效地理解和响应用户意图，处理高分辨率的UI截图，并在多样化的设备生态系统中无缝扩展。
而苹果在操作系统上的最大对手谷歌，甚者更早就曾发布过相关的研究成果。2023年2月24日，谷歌的一篇论文主要提出了Spotlight——一种基于视觉语言的移动端UI理解方法。
它是一个纯视觉的移动UI理解模型，不依赖于视图层次结构数据，而是直接从原始像素中理解UI屏幕。采用了焦点区域抽取器（Focus Region Extractor）和区域总结器（Region Summarizer），使模型能够聚焦于屏幕上的特定区域，并生成基于ViT编码的屏幕区域的潜在表征。
在3月19日，谷歌又发布了一个新的模型Screen AI，模型的大小还不到5B。它能够识别和理解UI元素和信息图表的内容，包括它们的类型、位置和相互之间的关系，并能生成与屏幕UI元素相关的文本，如问题回答、UI导航指令和内容摘要。
Spotlight+Screen AI拼出了谷歌在端侧AI上的技术路线。
Screen AI用来理解屏幕上的按钮和文字，而Spotlight专注于屏幕上特定区域的细节，即使只给它看一小部分屏幕截图，也能告诉你那部分是干什么用的。
2023年10月，谷歌在自己的pixel 8系列手机上也推出了circle to search功能。同时，作为深度绑定的合作伙伴，“圈搜”功能也成为了三星手机AI功能的主打宣传点。
从荣耀、Vivo、智谱AI、阿里，到苹果和谷歌，端侧AI在现阶段的实现路径上似乎达成了一个共识，那就是基于视觉理解大模型的技术基础，让手机直接“看懂”屏幕上的内容，并做出后续的类似于手机智能体的动作。

AI手机，不是把大模型App

装到手机上而已

听起来，想在手机上实现AI功能并不复杂。那么实操过程中，用户体验如何？
腾讯科技深度体验了多个手机“智能体”产品点咖啡或圈搜等功能，基本都是采取以上的技术方案，通过视觉理解大模型的支持，实现多步骤的操作。
现阶段，它们大部分不仅反应速度慢，而在连续执行的过程中经常表现得很像早期的自动驾驶，常常需要人类接管，有时还得重复下指令才能跌跌撞撞地完成任务。
对于一个新手用户而言，体验确实不太友好。
显然，这也无法驱动用户们用真金白银为「AI手机」的概念买单。
另外，即使没有内置AI功能的手机，安装大模型App后也能实现AI相关功能，通过App也能跨应用完成复杂的多步骤任务。
腾讯科技向某个安装了大模型App的普通手机提出了相关需求，它在操作过程中，和内置了大模型App的手机体验差别并不大。
它可以完成比如：帮忙点附近最便宜的全家桶、给某个群里所有人的第一条朋友圈点赞、打开线上会议，加入会议，在会议完成后把纪要发给老板、总结某某公司财报后形成分析报告并通过微信发送给老板等需求。
那么，如果此类大模型应用都可以解决自主操作的问题，那AI手机的优势在哪？目前来看，AI手机时代，「数据」依然是最深的护城河。
手机拥有用户使用手机的本地化数据，具有天然的优势。
腾讯科技沟通了多位从业者，不考虑隐私协议，仅从理论层面手机品牌厂商可以获得的用户数据有以下几类：
●设备信息：型号、系统、硬件配置（CPU、内存、分辨率）和状态（电量、信号、网络）。
● 应用信息：名称、版本、开发者；安装和更新详情；使用情况（启动次数、时长、功能）。
● 用户行为：操作记录（点击、滑动、输入）；浏览、搜索、下载历史；个人设置（主题、字体、语言）。
● 位置信息：当前和历史位置；位置服务使用（导航、地图、搜索）。
● 通信记录：通话、短信、邮件。
● 网络使用：连接详情（Wi-Fi、蓝牙）；流量使用（上网时间、消耗）。
● 传感器和环境：传感器数据（加速度计、陀螺仪、摄像头）；环境信息（温度、湿度、光线）。
● 账户信息：注册、登录信息；账户关联（邮箱、电话、社交账号）。
这意味着对于一台手机来说，几乎所有的操作、细致到屏幕上任何一个文字和按钮，都可以被“原子化”写入到AI理解的范围内。
当这些原子化的数据成规模地出现在手机AI的学习范围内时，它就能够形成一个最初的用户个人知识库。
但是，只以本地化的用户行为数据作为学习范围显然是不够的，智能手机更多的功能延续，要通过各种不同的第三方App实现，这些第三方的数据才能告诉AI智能体，用户到底是爱吃牛肉汉堡还是鸡肉汉堡、喜欢喝冰美式还是热美式。
所以想要做到真正的意图识别，让手机成为每个人的AI智能体，终究绕不过从需要底层理解用户行为，这需要整个生态的配合。
但是，第三方应用数据的缺失，让手机厂商们没有办法通过API调用去解决AI自主操作的问题，不得已选择屏幕识别这样的技术路线绕过这条数据护城河。手机厂商在用阻力最小的方式先做到让手机变得“更智能”，先让手机上有一个AI，现阶段，它可以帮助用户操作手机且不需要App们同意，算是迈出了第一步。
腾讯科技咨询了一位手机行业资深产品经理，他表示，当下AI手机绕过数据交换确实是不得已而为之的行为。
“这个问题的关键是看手机厂商究竟想解决什么问题。如果要解决‘简单调用’的问题，通过 API是可行的，但是这在目前的手机生态中是很难实现的，因为没有App有足够的动力向手机厂商开放API。但是，模拟点击不需要，只要手机在系统级别支持就好了，而手机的操作系统是有动力的，因为大家都想让自己的操作系统变得更智能。”

理想的AI手机体验，是无形的服务

理想的“AI手机”体验，应该是帮助用户于无形之中。今年行业内用一个词来描述这种体验，叫做“意图识别”。
简单来讲，就是手机、PC等端侧设备能够最穿透用户意识的“迷雾”，做到比用户自己更懂自己的“意图”，手机的Agent（智能体）接收个性化的意图指令，自动帮忙去执行一系列任务。
手机厂商目前通过屏幕识别，“连续点按”App的操作，已经完成了类似于RPA（机器人流程自动化）的过程，但是缺少“记忆”，就是用户散落在各个第三方App中的第三方应用的行为偏好数据。
这并不能从根本上解决数据互通的问题，只是形式上的智能，不是根本的智能。手机还是无法判断用户在具体场景中真正的喜好。
数据的壁垒和生态的难题，真的完全无解吗？
某资深从业者告诉腾讯科技，“目前行业内初步形成了一个比较有共识的解决方案，未来，可能每个手机App都会拥有一个独立的Agent，大家所做的是手机系统级别的Agent和应用的各个第三方的Agent握手通信，本地的Agent负责理解用户意图，将脱敏之后的数据转递给第三方的Agent，对方完成之后再返回给手机，以完成用户的需求。”
就好像每个App派出一个Agent代表，去接收别的App及系统发出的请求——“只反馈请求，不交出数据”，这看起来确实是不错的解决方案。
雏形已成，但是，还有几个问题需要解决：
1、Agent和Agent之间、手机操作系统和Agent之间，如果没有统一的通信协议和标准，如何真正的“握手”交互和流转？
2、大模型采用明文传输，在Agent互相握手传递需求的时候，是不是真的有切实有效的方式保护敏感的个人数据？
3、一个系统级别Agent，理应和手机操作系统深度融合，甚至是手机操作系统的一部分，现有的手机操作系统的底层架构，是否能够完美支持这样一个强大的Agent？
从表面上看，AI助手让手机操作变得更加便捷；但深入来看，Agent间的通信协议、数据安全传输、系统架构重构等问题，都需要整个行业达成共识。就像互联网需要HTTP协议一样，AI时代的手机生态同样需要建立新的“游戏规则”。
在这场无声的变革中，一个问题值得我们思考：让AI真正走入手机生态，我们是否准备好了？

END  

阅读推荐

【合作】加微信：Cookie780267
【转载】加微信：V-vmarketing

成功营销现已入驻

今日头条丨一点资讯丨大鱼号丨知乎
腾讯新闻丨凤凰新闻丨搜狐新闻

立即扫描二维码，添加 V姐 好友

发送：姓名+公司/所在行业

进入“成功营销”微信群，

获取更多精彩干货内容！
发红包和点咖啡一样，都是应用了“大模型视觉理解”的能力，通过识别并手机屏幕上显示的内容来完成操作，就好像模拟人类用户的“点按”操作，而非调用App的API。

来源丨腾讯科技（ID:qqtech）

作者 | 晓静 吴彬
编辑丨郑可君
对手机厂商来说，AI已经变得越来越重要。
2024年，大多数的手机厂商推出各类AI助手，可以实现一键问屏（手机直接识别屏幕内容）、圈搜（圈出图片中的部分内容并精准搜索）、AI回邮件、AI写会议纪要、AI便签、AI日程管理等功能。
其中， 用AI助手点咖啡是今年较为出圈的功能。
10月14日，原荣耀CEO赵明在直播中对着手机中的智能语音助手说：“点三杯美式咖啡”，荣耀手机就自动完成了搜索、下单的操作。周鸿祎坐在一旁直呼：“这个太可怕了。”
同样在10月，vivo也推出了手机智能体“PhoneGPT”，他们向消费者展示的AI功能也是买咖啡。
在这些视频演示中，用户点咖啡一共只需要操作两步：第一是打开手机系统自带的助手，通过语音和文字下达指令；第二是付费下单（输入密码）。
中间的跳转App和下单的过程，并非是AI直接在后台操作。而是AI模拟人类操作手机的全部过程，并在屏幕上显示出每个操作步骤。
在11月，大模型明星创业公司智谱AI推出AutoGLM，智谱AI CEO张鹏现场用它发了一个总金额2w的红包，也是只有“下达指令”和“支付红包金额”两个步骤。
发红包和点咖啡一样，都是应用了“大模型视觉理解”的能力，通过识别并手机屏幕上显示的内容来完成操作，就好像模拟人类用户的“点按”操作，而非调用App的API。也就是说，AI完成这些动作并不需要获得第三方App的同意。
因此，AI甚至可以变成一个“虚拟数字用户”，人类用户能做什么，它就能做什么。
这似乎能带来无限的想象空间，但也引发了我们的好奇：
1、AI究竟是如何做到仅通过识别屏幕，就可以操作手机的？
2、如果在一个普通手机上装一个第三方的大模型App，是不是这个手机就秒变为AI手机？
3、如果AI调用App不需要获得App的同意，移动互联网生态将会发生什么改变？

2024年，科技大厂都在努力

让AI“看懂”屏幕

先来梳理一下现阶段用AI点咖啡和发红包的流程：
1、自然语言理解：用户通过语音或文字向手机助手发出指令；
2、读懂手机界面：手机智能体通过识别手机界面，模拟人类进行点按操作。
3、跨应用协调执行：手机智能体能够在不同应用之间跳转，以完成复杂的多步骤任务。
张鹏在介绍Auto GLM时曾说，“它的应用展现了大模型从对话（Chat）走向操作（Act），从生成式AI（GenAI）迈向代理式AI（Agentic AI）的演进趋势。”
这些操作的背后，具体应用了什么关键技术？
2023年12月，智谱AI曾发表过一篇论文，名为CogAgent: A Visual Language Model for GUI Agents（《CogAgent：GUI 代理的可视化语言模型》）。
这篇论文提出了CogAgent模型，这是一种专注于GUI理解和导航的180亿参数视觉语言模型。它希望解决的问题是如何让大型视觉语言模型（VLM）更好地理解和导航图形用户界面（GUI），从而提高自动化水平。
可以说，Auto GLM是基于这项研究的产品化体现，让手机、PC等端侧设备，通过视觉语言模型，读懂手机界面，实现多步骤的连续和跨App的操作。
2024年2月，阿里巴巴也曾发布过一篇主题为Mobile- Agent的论文。主要解决如何在移动设备上实现自主的多模态代理，能够通过视觉感知和语义理解完成复杂的操作任务，并自主完成多步任务，且可以跨越多个App。
国外科技巨头也发布过类似的研究成果。2024年4月，苹果发表了一篇论文Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs（《Ferret-UI: 基于多模态LLMs的移动UI理解模型》），其中介绍了名叫Ferret UI的模型。
Ferret UI其实是建立在苹果于2023年10月就已经发布的Ferret模型之上，这个模型仅有7B和13B两个大小，是一个多模态模型。
和动辄上千亿参数规模的主流多模态大模型相比，他们实在是太小了，但是他们的专长是识别图像具体区域和定位点，这项能力甚至超过了当时最强大的多模态大模型GPT-4V。
苹果 AI / ML 研究科学家 Zhe Gan，当时在X上发布了一条推文称，Ferret可以“在一个图像中的任何地方、任何粒度上引用和定位任何事物”，它还可以使用图像中任何形状的区域来实现这一点。
通俗来讲，这意味着Ferret模型能够识别图像中指定区域的元素，并将其精确框选。
例如，如果用户在图像中圈出一个物体并询问其种类，Ferret不仅能够识别出该物种，还能理解用户所指的特定动物或植物。讲到这里，是不是立刻就能联想到今年各大手机厂商纷纷推出的“圈搜”功能。
用户可以通过圈选屏幕上的内容，快速获取相关信息，支持跨应用服务，方便用户直接跳转到所需的应用或功能，比如荣耀手机支持“一圈即搜”功能的YOYO智能体；vivo提供了“小V圈搜”功能；OPPO的“小布助手”也具备相似的圈选功能。
而Ferret UI模型，就是将Ferret模型的能力应用在手机、PC等端侧交互界面，用户用自然语言下达命令，模型能够直接“读懂”屏幕上的内容——包括App图标、屏幕上的文字。Bechmark测试表明，在iPhone环境下，Ferret UI在初级UI任务中超越了GPT4-V，在包含高级任务的全任务平均得分非常相近，在安卓环境下表现略差。
在2024年10月，苹果又发布了新的Ferret- UI 2模型，这次的升级点主要是跨平台的用户界面（UI）理解，实验结果表明，无论是在iPhone、Android、iPad、Webpage还是AppleTV上，Ferret-UI 2都能有效地理解和响应用户意图，处理高分辨率的UI截图，并在多样化的设备生态系统中无缝扩展。
而苹果在操作系统上的最大对手谷歌，甚者更早就曾发布过相关的研究成果。2023年2月24日，谷歌的一篇论文主要提出了Spotlight——一种基于视觉语言的移动端UI理解方法。
它是一个纯视觉的移动UI理解模型，不依赖于视图层次结构数据，而是直接从原始像素中理解UI屏幕。采用了焦点区域抽取器（Focus Region Extractor）和区域总结器（Region Summarizer），使模型能够聚焦于屏幕上的特定区域，并生成基于ViT编码的屏幕区域的潜在表征。
在3月19日，谷歌又发布了一个新的模型Screen AI，模型的大小还不到5B。它能够识别和理解UI元素和信息图表的内容，包括它们的类型、位置和相互之间的关系，并能生成与屏幕UI元素相关的文本，如问题回答、UI导航指令和内容摘要。
Spotlight+Screen AI拼出了谷歌在端侧AI上的技术路线。
Screen AI用来理解屏幕上的按钮和文字，而Spotlight专注于屏幕上特定区域的细节，即使只给它看一小部分屏幕截图，也能告诉你那部分是干什么用的。
2023年10月，谷歌在自己的pixel 8系列手机上也推出了circle to search功能。同时，作为深度绑定的合作伙伴，“圈搜”功能也成为了三星手机AI功能的主打宣传点。
从荣耀、Vivo、智谱AI、阿里，到苹果和谷歌，端侧AI在现阶段的实现路径上似乎达成了一个共识，那就是基于视觉理解大模型的技术基础，让手机直接“看懂”屏幕上的内容，并做出后续的类似于手机智能体的动作。

AI手机，不是把大模型App

装到手机上而已

听起来，想在手机上实现AI功能并不复杂。那么实操过程中，用户体验如何？
腾讯科技深度体验了多个手机“智能体”产品点咖啡或圈搜等功能，基本都是采取以上的技术方案，通过视觉理解大模型的支持，实现多步骤的操作。
现阶段，它们大部分不仅反应速度慢，而在连续执行的过程中经常表现得很像早期的自动驾驶，常常需要人类接管，有时还得重复下指令才能跌跌撞撞地完成任务。
对于一个新手用户而言，体验确实不太友好。
显然，这也无法驱动用户们用真金白银为「AI手机」的概念买单。
另外，即使没有内置AI功能的手机，安装大模型App后也能实现AI相关功能，通过App也能跨应用完成复杂的多步骤任务。
腾讯科技向某个安装了大模型App的普通手机提出了相关需求，它在操作过程中，和内置了大模型App的手机体验差别并不大。
它可以完成比如：帮忙点附近最便宜的全家桶、给某个群里所有人的第一条朋友圈点赞、打开线上会议，加入会议，在会议完成后把纪要发给老板、总结某某公司财报后形成分析报告并通过微信发送给老板等需求。
那么，如果此类大模型应用都可以解决自主操作的问题，那AI手机的优势在哪？目前来看，AI手机时代，「数据」依然是最深的护城河。
手机拥有用户使用手机的本地化数据，具有天然的优势。
腾讯科技沟通了多位从业者，不考虑隐私协议，仅从理论层面手机品牌厂商可以获得的用户数据有以下几类：
●设备信息：型号、系统、硬件配置（CPU、内存、分辨率）和状态（电量、信号、网络）。
● 应用信息：名称、版本、开发者；安装和更新详情；使用情况（启动次数、时长、功能）。
● 用户行为：操作记录（点击、滑动、输入）；浏览、搜索、下载历史；个人设置（主题、字体、语言）。
● 位置信息：当前和历史位置；位置服务使用（导航、地图、搜索）。
● 通信记录：通话、短信、邮件。
● 网络使用：连接详情（Wi-Fi、蓝牙）；流量使用（上网时间、消耗）。
● 传感器和环境：传感器数据（加速度计、陀螺仪、摄像头）；环境信息（温度、湿度、光线）。
● 账户信息：注册、登录信息；账户关联（邮箱、电话、社交账号）。
这意味着对于一台手机来说，几乎所有的操作、细致到屏幕上任何一个文字和按钮，都可以被“原子化”写入到AI理解的范围内。
当这些原子化的数据成规模地出现在手机AI的学习范围内时，它就能够形成一个最初的用户个人知识库。
但是，只以本地化的用户行为数据作为学习范围显然是不够的，智能手机更多的功能延续，要通过各种不同的第三方App实现，这些第三方的数据才能告诉AI智能体，用户到底是爱吃牛肉汉堡还是鸡肉汉堡、喜欢喝冰美式还是热美式。
所以想要做到真正的意图识别，让手机成为每个人的AI智能体，终究绕不过从需要底层理解用户行为，这需要整个生态的配合。
但是，第三方应用数据的缺失，让手机厂商们没有办法通过API调用去解决AI自主操作的问题，不得已选择屏幕识别这样的技术路线绕过这条数据护城河。手机厂商在用阻力最小的方式先做到让手机变得“更智能”，先让手机上有一个AI，现阶段，它可以帮助用户操作手机且不需要App们同意，算是迈出了第一步。
腾讯科技咨询了一位手机行业资深产品经理，他表示，当下AI手机绕过数据交换确实是不得已而为之的行为。
“这个问题的关键是看手机厂商究竟想解决什么问题。如果要解决‘简单调用’的问题，通过 API是可行的，但是这在目前的手机生态中是很难实现的，因为没有App有足够的动力向手机厂商开放API。但是，模拟点击不需要，只要手机在系统级别支持就好了，而手机的操作系统是有动力的，因为大家都想让自己的操作系统变得更智能。”

理想的AI手机体验，是无形的服务

理想的“AI手机”体验，应该是帮助用户于无形之中。今年行业内用一个词来描述这种体验，叫做“意图识别”。
简单来讲，就是手机、PC等端侧设备能够最穿透用户意识的“迷雾”，做到比用户自己更懂自己的“意图”，手机的Agent（智能体）接收个性化的意图指令，自动帮忙去执行一系列任务。
手机厂商目前通过屏幕识别，“连续点按”App的操作，已经完成了类似于RPA（机器人流程自动化）的过程，但是缺少“记忆”，就是用户散落在各个第三方App中的第三方应用的行为偏好数据。
这并不能从根本上解决数据互通的问题，只是形式上的智能，不是根本的智能。手机还是无法判断用户在具体场景中真正的喜好。
数据的壁垒和生态的难题，真的完全无解吗？
某资深从业者告诉腾讯科技，“目前行业内初步形成了一个比较有共识的解决方案，未来，可能每个手机App都会拥有一个独立的Agent，大家所做的是手机系统级别的Agent和应用的各个第三方的Agent握手通信，本地的Agent负责理解用户意图，将脱敏之后的数据转递给第三方的Agent，对方完成之后再返回给手机，以完成用户的需求。”
就好像每个App派出一个Agent代表，去接收别的App及系统发出的请求——“只反馈请求，不交出数据”，这看起来确实是不错的解决方案。
雏形已成，但是，还有几个问题需要解决：
1、Agent和Agent之间、手机操作系统和Agent之间，如果没有统一的通信协议和标准，如何真正的“握手”交互和流转？
2、大模型采用明文传输，在Agent互相握手传递需求的时候，是不是真的有切实有效的方式保护敏感的个人数据？
3、一个系统级别Agent，理应和手机操作系统深度融合，甚至是手机操作系统的一部分，现有的手机操作系统的底层架构，是否能够完美支持这样一个强大的Agent？
从表面上看，AI助手让手机操作变得更加便捷；但深入来看，Agent间的通信协议、数据安全传输、系统架构重构等问题，都需要整个行业达成共识。就像互联网需要HTTP协议一样，AI时代的手机生态同样需要建立新的“游戏规则”。
在这场无声的变革中，一个问题值得我们思考：让AI真正走入手机生态，我们是否准备好了？

END  

阅读推荐

【合作】加微信：Cookie780267
【转载】加微信：V-vmarketing

成功营销现已入驻

今日头条丨一点资讯丨大鱼号丨知乎
腾讯新闻丨凤凰新闻丨搜狐新闻

立即扫描二维码，添加 V姐 好友

发送：姓名+公司/所在行业

进入“成功营销”微信群，

获取更多精彩干货内容！
展开
打开“财经头条”阅读更多精彩资讯
相关新闻
手机AI帮你点咖啡，App们同意了吗？
  • Vmarketing成功营销
  • 1天前
穷咖啡，富咖啡，都卖不动了
  • 凤凰WEEKLY财经
  • 4周前
咖啡豆价格狂飙背后：咖啡大厂不增反降、平替咖啡豆出圈 行业新一轮“赛点”出现
  • 东方财富网
  • 2周前
特朗普称美国要拥有TikTok50%所有权，中方回应
  • 外交部
  • 1天前
7nm及以下营收占比74%！台积电已经无敌？
  • 海豚投研
  • 1天前
抖音大动作
  • 中国基金报
  • 21小时前
特朗普上任前“割韭菜”，一天狂赚1000亿！
  • 大江湖解局
  • 2天前
实测：小红书正式上线翻译功能！
  • 三言Pro
  • 2天前
2024，星星充电丨聚光前行，镌刻璀璨篇章
  • 星星充电
  • 1天前
-已经到底了-
APP内打开