谷歌AI智能体首次上线手机，Gemini看懂屏幕实时交流

白

新智元2025年03月24日约 3 分钟

谷歌 Gemini 迈出关键一步：「睁眼看世界」。用户发现 Gemini 新增实时屏幕共享功能，能准确识别屏幕上的内容并实时互动；并且可以打开摄像头与物理世界交互，帮用户给釉陶「上色」。

本文转自微信公众号新智元，作者新智元。

谷歌还是那个谷歌，依然是「地表最强」科技公司。

Gemini 也许仅仅是在「话题度」稍稍落后 ChatGPT，但不要忽视他的技术实力。

最近，一位网友在激活了 Gemini 悬浮窗后，意外发现了一个全新新按钮——「与 Live 共享屏幕」。

而这，正是谷歌为 Gemini Live 推出的全新「AI 实时视频功能」。

基于此，用户可以让 Gemini 实时查看屏幕内容，或者调用手机摄像头画面。

r/Bard - You can now share your screen (mobile) to Gemini Live?

手机发屏幕和外面的世界，Gemini全懂

「Gemini，你可以看到我的手机屏幕吗？」

「没问题，我能到看到时间是 8 点 50，温度是 71 度，日期是 3 月 23 日」

「你能通过屏幕内容猜到我的安卓系统是什么吗？」

「嗯，似乎猜起来似乎有些困难，看起来像是定制的系统」

「屏幕上哪个 APP 和我职业最相关？」

「嗯，似乎是 Code Editor」

「你可以帮我播放视频吗？」

「嗯，因为我们正在实时对话，所以无法控制手机，不过我可以和你聊天、进行头脑风暴」

另一项同步上线的是实时视频功能。

打开完整的 Gemini Live 界面，开启视频流之后，界面右下角有个按钮，点一下就能切换到前置摄像头，这样就能和周围环境直接互动了。

这就像给 Gemini 装上了眼睛，让它能看世界。

开启这个功能后，Gemini 能实时分析手机摄像头捕捉到的画面，然后回答你提出的相关问题。

比如，谷歌本月发布的演示视频里，有人想用颜料给新做好的釉陶上色，拿不定选什么颜色，就可以借助这个功能向 Gemini 求助。

对此谷歌表示，会在 3 月下旬「作为谷歌 One AI 高级计划的一部分，向 Gemini 高级订阅用户逐步推送」。

「Project Astra」谷歌计划已久的AI助手

「这个愿景在我脑海中存在了相当长一段时间。」

谷歌 DeepMind 的负责人、谷歌 AI Efforts 的领导者 Demis Hassabis 在 2024 年 3 月谷歌 I/O 大会上提到。

Demis Hassabis 展示了一个他希望成为通用助手的非常早期版本，谷歌称其为「Project Astra」。

这是一个实时、多模态的人工智能助手，它可以看见世界，知道事物是什么以及你把它们放在哪里，并且可以回答问题或帮助你做几乎所有事情。

「Gemini Live 共享屏幕」就是「Project Astra」的第一次亮相。

同时也是 2025 AI Agent 之年某种产品「形态」的预告片。

当 AI「装上眼睛」实时观看现实世界，并且和你以及你的手机互动时。

AI 会和人类碰撞出怎么样的火花？

谷歌这次新功能的上线，进一步巩固了它在 AI 助手领域的领先地位。

参考资料：

https://www.theverge.com/news/634480/google-gemini-live-video-screen-sharing-astra-features-rolling-out

靠游戏“Carry”语言学习App，吸量还赚钱？

成为独角兽之后，我们走了哪些弯路 | 创始人复盘

国内ToB、海外ToC双线告捷，美图净利润再次大涨60%

中国最低调的AI应用工厂，上线19个产品，年收入超10亿

免费短剧崛起，中小团队产品触达百万月活，已有8款App进入海外榜单

商务合作

Cassie | 微信：18506490569

Ares | 微信：18606066421

Lina | 微信：13381020131

David | 微信：13809501924

Ania | 微信：13720814733

媒体合作

Echo | 微信：13003974360

游戏、应用等APP出海对接

Shadow | 微信：18650708568

卖家对接

Demerly | 微信：18150844790

客户服务

Lia | 微信：baijing018

与CEO聊合作

白鲸出海魏方丹 | 微信：bjbandari02

（添加请备注姓名、公司及职位）

来自同一个声音