ReaderMX.
少数派

龙跃智能，有龙则灵：新的一年骁龙如何用 AI 开启「芯」篇章

少Fairyex约 14 分钟
在除旧迎新的烟花声中，我们迎来了全新的龙年。中国文化中，龙年具有特别的意义，象征着力量、智慧和好运，龙深受人们的喜爱和尊敬。同样的，作为「骁龙」，龙年也可以算是骁龙的本命年。在这个富有象征意义的时刻，骁龙以其独特的方式庆祝了自己的本命年 —— 一段创意十足的春节视频，生动展示了其前沿 AI 技术如何巧妙地融入我们的日常生活中。
至于 2024 年骁龙所期许的「处处有龙，事事灵通」，我们可以跟着骁龙新年策划视频一起来感受骁龙用技术和创意为我们的生活带来的惊喜。
视频中，骁龙从天而降「贴合」到我们周围的各种设备上。正如视频中所展现的，骁龙芯片不仅覆盖了我们生活的各个方面，更开启了一个充满无限可能的新篇章。而在这篇文章中，就让我带着你深入了解这些不同的技术如何在我们日常生活中扮演重要角色。
在这个 AI 技术迅猛发展的时代，2023 年无疑成为了「AI 元年」，各种 AI 应用层出不穷，极大地丰富了我们的生活和工作。特别是 AI 大模型的出现，如同一股清流，给科技界带来了前所未有的变革，它的能力跨越了语言理解、图像处理、甚至是复杂决策制定，让人们对 AI 的未来充满了无限的想象和积极的展望。如果你对 AI 大模型是什么感到好奇，想要知道它如何影响我们的生活，又应该如何正确使用，不妨通过以下链接阅读我的文章：https://sspai.com/post/81036
▍第三代骁龙 8 移动平台：个人 AI 时代的开端基石
Image
芯片参数
手机芯片应该是我们对骁龙最熟悉的部分，也是我们现在就能直接体验到的部分。手机芯片的 AI 性能更加贴近我们的生活，有着更高的灵活性和普遍性。
此前一些非常好用的功能因为性能或者其他限制只能放到云端运行，而现在手机芯片 AI 算力的增强，让原本只能在云端执行的各种任务现在在终端执行变为可能，这样原本部分必须传到云端的数据，现在可以完全只存在我们手机上，我们拥有完全的控制权随时可以管理以及删除。像是最近发售的三星 S24 Ultra，在第三代骁龙 8 (for Galaxy) 的加持下拥有丰富的 AI 功能，并且在设置里提供了一个选项，让所有 AI 功能只在本地运行。
Image
S24 Ultra 将所有 AI 数据只在本地运行的选项截图
有了第三代骁龙 8，手机上的 AI 体验迎来了一个新时代，不仅有众多新 AI 功能能够在手机上本地运行，很多之前 AI 功能的使用体验也得到了提升。
像是在手机摄影方面，从拍摄到图片修改，AI 贯穿整个流程：
拍摄时，以 S24 Ultra 为例，其搭载的第三代骁龙 8 (for Galaxy)支持认知 ISP, 可以通过实时语义分割实现照片和视频的自动增强。相比较上一代芯片，其可识别的语义层数从 8 层提升到 12 层，照片中不同物体的分解比之前细致得多，也就能针对更多照片的不同部分进行分别优化，像是人脸专门提亮以及美颜，背景暗部专门提升亮度以及清晰度而不影响其他位置，甚至只针对某个物体来进行 HDR 多帧合成而不是整张图片。
Image
S24 Ultra 图片分割的效果
在抠图上基于理解的分割算法也能在更加复杂的场景下正确地把之前很难抠出的半透明物体以及人物发丝完成提取，在计算景深的时候更加真实不会翻车。
甚至我们现在可以在相册里面后期再自由加上各种你想要的虚幻效果，不像之前只能在拍照时选择虚化，因为之前需要多个摄像头视差和专门的传感器来获取景深数据，而现在第三代骁龙 8 的算力足够支持在本地运行计算出图片中不同物体的景深。
Image
8 Gen3 视频背景替换的效果
AI 能让照片的整体效果更上一个台阶，而且更加节省算力，现在新发布的手机的 4K60 视频多摄像头无缝流转以及实时 HDR 视频预览等就是因为芯片 AI 性能以及算法的大幅进步才出现的。
而到了拍摄之后的图片修改部分，AI 的「魔法」就更多了：

  • 不小心拍歪的照片，可以在相册里扶正。相比之前的裁掉多出部分，现在 AI 可以补充缺失的部分，让正过来的照片拥有和之前一样的视野范围。

Image
AI 扶正图片

  • 图片扩充能让用户对照片进行真正的「缩放」，不仅能放大，还能缩小，放大之后可以利用 AI 生成细节那照片像是光学长焦镜头拍出来的一样高清，而缩小 AI 更是能够算出周围不存在的部分，让照片变广角，让景观变得更加震撼。

Image
图片缩放的效果

  • 另外像是去除路人，移动物体等等操作也因为 第三代骁龙8能够本地运行 AI 绘图模型实现吊打之前应用，更加强大的效果。

Image
移动物体
在手机上其他方面的 AI 功能，得益于第三代骁龙 8 AI 性能的大幅提升，也得到了极大扩展。例如本地 AI 的语音助手，输入法 AI，笔记 AI 手写文字识别校正以及笔记总结、AI 壁纸等。
最重要的是，这些操作全部都是在本地完成，你的图片、输入的内容和其它 AI 搜集到的数据从始至终都是在手机上。现在搭载第三代骁龙 8 的手机已经上市挺久了，你可以直接在不同品牌的体验店直接上手体验各家各具特色的不同 AI 功能，感受 AI 芯片加持实现的神奇效果。
▍骁龙 X Elite：为次世代生活打造的 PC 智能芯片
首先先来介绍下我觉得今年骁龙的重头戏，那就是全新的骁龙 X Elite 芯片。无论是行业还是用户，都期待着这个全新设计的芯片能够带来次世代的硬件体验。
Image
芯片展示
如果现在让大家说说在笔记本以及掌机等设备上最迫不及待想要优化的地方，那么性能和续航肯定是两个最多被提及的点。基本上大家一看到 X86 芯片加上 Windows，那么肯定对续航就没有指望了，微软和各家芯片厂商多年来其实也一直在尽力优化这个问题。
Image
不再支持旧指令集
而骁龙 X Elite 作为一块完全为次世代打造的全新芯片，使用高通自研技术打造 Oryon 核心，优化后的大小核能够做到既有性能释放也能把待机功耗降到最低，架构本身更加精简也能更好的利用上硬件发挥更多的性能。按照这块芯片在之前骁龙峰会上参数以及展示机的表现来看，这块芯片能效表现是非常令人惊喜的。
Image
芯片的参数图片
根据高通之前发布会上展示的数据，骁龙X Elite 的综合算力在 75TOPS（处理器运算能力单位，1TOPS 代表处理器每秒钟可进行一万亿次操作），同样的 GPU 也是常见核显的两倍左右。甚至在峰值性能上超越了同是 ARM 架构的 M2 芯片。
作为骁龙 X 系列首个芯片，骁龙X Elite 在追求更高性能的同时，在能效上也努力做到极致。无论是单核还是多核任务，骁龙X Elite 基本上都可以以 70% 以下的能耗完成其他两家 X86 芯片相同的任务，高通甚至可以自信地给出比起传统 X86 芯片低70%，比 ARM 的 M2 芯片低 30% 的能效参数，有着 2023 年 第三代骁龙8的能效提升作为参考，对于 骁龙X Elite 芯片的能效大家也可以把期待感提到最大。
Image
高通自己的 PPT
除了性能，骁龙 X Elite 作为次时代芯片自然需要在下一个浪潮 —— AI 时代中保持领先，骁龙X Elite 这次也给到了 45TOPS 的 NPU（专门的 AI 处理硬件），能够以 30 tokens 每秒来跑 70 亿参数的大语言模型，最大能够本地运行 130 亿参数的大模型。
Image
骁龙 X Elite 使用 Stable Diffusion 生成图片的速度
骁龙 X Elite 在 AI 方面的速度以及性能提升，能够让 AI 更快进入千家万户，让我们更快感受到 AI 对我们日常生活工作的帮助：帮助我们快速生成各种各样的文本内容、快速总结邮件，会议记录，搜索结果等等各种资料、借助文本生成的图像生成快速进行调研，快速生成 PPT 等文档等等等等各种你现在可能想不到的操作。
比如我就在自己写的 GPT Prompt 教程里用医疗诊断助手、光伏板接线计算以及批量将发票智能识别纠错转换为表格等需求来给大家展示目前 AI 在不同领域你想不到的可能性。
Image
GPT 医疗诊断助手
Image
GPT 批量识别发票生成表格
AI 让我们从一些重复的日常任务中解放出来，获得更多时间更多精力来完成真正有价值的或者自己想做的工作。微软已经把 Windows 键换成 Copilot 键，未来必将进一步发展 AI，而 骁龙 X Elite 芯片的 AI 性能和专门的优化则会带来强大的终端侧 AI 算力支持，让部分生成式AI应用工具在本地就能运行起来，无需联网 ，也没有额外高昂的云算力成本。等 2024 年中第一批搭载骁龙 X Elite 的设备出来大家就可以第一时间亲自感受到次世代芯片的魅力。
▍骁龙数字底盘，骁龙座舱平台：丝滑的驾驶体验
说到骁龙芯片的应用，另一个已经比较广泛使用但你可能没有太注意到的领域就是车机上的芯片。在汽车领域，已有超过 3.5 亿辆汽车采用了骁龙数字底盘解决方案。在中国，骁龙数字底盘自 2021 年起已支持 40 多家中国汽车品牌推出超 100 款车型，而现在还是借助新的 AI NPU 以及极大增强的 AI 性能，第四代骁龙座舱平台（骁龙 8295）可以说给车机体验带来了翻天覆地的变化。
最具代表性的第四代至尊级骁龙座舱平台（骁龙 8295）首次在座舱 SoC 引入5纳米制程工艺，并支持高性能计算、计算机视觉、AI 和多传感器处理等功能，同时具备低功耗和高效散热设计，还能为具备「自适应能力」的座舱系统带来进一步优化的功能。
2023 年 10 月至今，首批量产及宣布搭载骁龙 8295 的新车陆续亮相，包括新奔驰 E 级、极越 01、极氪001 FR 和极氪 007、吉利银河 E8、小鹏 X9、零跑 C10、蔚来 ET9、小米 SU7 、理想MEGA等。骁龙 8295 强大的 AI 算力基本上让车机和卡顿说再见，而且还有能力玩更好的花活，比如无关键词唤醒，姿态实时识别，更加自然的语义理解甚至是车上运行的大模型等等。而且不仅车机上运行应用更加流畅，对于车上无线链接的优化也让我们常用的车机手机联动甚至应用流转都有了更加迅速敏捷的流畅体验。
Image
以我自己的体验和具体的参数看，新的芯片给车机带来了很多方面的提升：
最直观的感受是反应更加迅速。如果说之前我使用过的车机能用差强人意来形容，那么现在骁龙 8295 车机基本已经是现在旗舰手机的水平，即使大部分车机没有 120Hz 的刷新率，但现在基本不掉帧，所以感觉丝般顺滑。性能更高的芯片也能带来更快的车内网络，新的传输协议以及更多的同时处理任务能力，就连 360 度影像的帧率不能做到更高。
而且车机芯片能够针对车的使用场景进行优化，智能汽车比起传统汽车多了各种各样需要处理的设备，其中最常见的就是各种视频流，电子后视镜、抬头显示、中控大屏、倒车影像、360 实时影像、用来自动驾驶的图像流处理甚至是副驾和后排在看的网络视频，都需要车机芯片有非常强大的视频解码能力，还需要车机能够专门多路视频流同时处理。
Image
汽车上各种各样的屏幕
骁龙 8295 的性能能够解码更高清的视频以及处理更多视频流，即使多录视频流也可以同时处理，做到和一路视频流相同的处理时间。同时骁龙 8295 芯片上 AI 算力也达到 30TOPS，数据的性能让车机芯片也有能力在解码时做一些驾驶体验方面的优化，比如通过图像识别防止「开门杀」等。顺便让花里胡哨的地方更加花里胡哨，颜值是第一生产力，强大性能可以给到车机更加好的界面特效和动画，也能加上毛玻璃等等特殊的效果，并且能够在中控屏和抬头显示上放更多的 3D 图像，车辆模型等 3D 内容也可以放上更高清的模型，对于车机交互体验的提升是非常直观的。
Image
AI 性能加强在车内音频方面的应用也得到飞跃提升，之前需要联网等待转圈圈的语音助手识别现在能够本地执行没有延时，本地 AI 支持实时的语音识别，能够做到识别指令发出人，也能让声音从对应座位的头枕音响后面出来，体验非常不错。AI 音频处理不仅能够在车内通话的时候让语音更加清晰，消除回声，而且还能兼顾降噪芯片，利用 AI 提前预测声波来实现主动降噪等（主动降噪非常粗暴，就是预测声波产生反向声波抵消，算力越强效果越好）。
而除了车机芯片，更强大的高算力芯片骁龙自然也不会落下。高通有自己设计的面向辅助驾驶（ADAS）和自动驾驶（AD）方案。骁龙 Ride 平台可以无缝连接车辆配备的摄像头、激光雷达、传感器等，然后通过 AI、 CPU 或 NPU 性能进行处理，实现高阶的辅助驾驶能力。
Image
这套平台能够实现车辆在无高精地图的情况下，在不依赖高精度地图的情况下，通过车辆本身的在线实时感知，按标准地图导航行驶，同时实现避让行人、车辆绕行变道、路口转向等城市 NOA 功能。
Image
自动驾驶在城市中「丝滑」前行
最近新发布的车都很喜欢演示的跨层记忆泊车以及召唤功能骁龙 Ride 平台也能轻松实现，可以根据已记忆的导航路线，实现跨楼层的泊车。
Image
在车库中自动避让车辆
高速方面，应用于量产车辆的高速智能驾驶辅助功能可以在高速路、高架路等常见进出匝道场景中精准感知车道线及其他交通参与者情况，提前适时规划匝道变换等辅助功能。
Image
自如应对城区复杂路况
可以说现在发布的新车上智能驾驶能够做到的范围使用骁龙 Ride 平台都能够做到，之后将会有越来越多的汽车直接使用骁龙 Ride 平台以及配套的驾驶辅助方案，大家现在就可以到上面提到的对应品牌汽车的 4S 店体验骁龙座舱平台和骁龙 Ride 平台的强大之处。
▍XR2 芯片：MR 时代的先行者
虽然早些年火爆的元宇宙现在已经没有那么火热，不过在大家没有注意的时候，各家的 VR 和 MR 设备每一年都有体验上的提升，现在的虚拟现实设备体验比起前几年都有质的飞跃，加上 Quest2/3 全球几千万台的销量，苹果今年 Vision Pro 的出现，VR 和 MR 设备又重新走入大众的视野。而且像是我自己是一直不间断体验各种 AR 和 MR 设备，对于这方面的进步有目共睹，也一直期待真正虚拟现实到来的一天。
Image
我自己的 Quest3
只要体验过目前性价比最高的头显 Quest2 和 3，就能感受到很大程度上体会到体验的提升来自于算力的提升，也就是高通专门的 XR 系列芯片。
骁龙 XR 系列算是最早一批专门的虚拟现实混合现实处理芯片，而这一代 Quest3 用的则是比较新的骁龙 XR2 Gen2 芯片，无论是它还是 Quest2 上的上代 XR 芯片，待实际使用之后你会发现芯片虽然是用手机芯片改的，但在头盔上的算力表现却完全不像手机上那样。
Quest3 上面的 XR2 芯片相当于手机端的骁龙 8Gen2，但实际使用中我发现即使开着彩色透视实时处理多个摄像头的图像拼接，然后同时还要处理手柄的位置数据以及手势识别和上半身的体态识别（最近 Quest3 还更新了基于摄像头的全身识别，效果不错），就这样还能以 90Hz 以上的刷新率来给我们的双眼提供 2K 分辨率（2064 × 2208）的游戏画面，和 8Gen2 在手机上的性能表现给我的实际感觉好像差别很大。
Image
Quest3 彩色透视加手势与全身识别
这除了头显有更大的散热空间以外，我们也能感受到优化的威力。比如虚拟现实设备和普通手机等最大的区别就是前者多了非常多的传感器和摄像头，如果还是按顺序处理那么这些摄像头每处理一帧都要花很多时间。
而 XR2 作为专门的芯片可以并行处理这些视频和传感器数据，这样即使有多个摄像头和传感器，也和一个摄像头处理一帧的时间是相同的。Quest3 就是有这样的芯片基础才能做到只有 12 毫秒延迟的彩色透视，同时还能兼顾手势识别头部追踪等功能。
Image
除此以外 XR2 芯片的 AI 性能比起上代翻了几倍，这让厂商可以在设备上应用一些优化，用更低的性能换取同样质量的画面。比如 AI 超分辨率，补帧和动作预测等，甚至还可以同时用 AI 来计算音频的空间位置，提升音频的空间感实现精确定位，据我自己的体验 Quest3 的音频空间感比起上代确实提升非常大。
而骁龙近期发布了新的骁龙 XR2+ Gen2，GPU 频率提升15%，CPU频率提升20%，并且有更强大的 AI 处理能力，以及更多路的摄像头支持，让原本已经很强大的体验有了进一步提升。另外针对最近很流行的混合现实，骁龙还推出了第一代 AR1 平台，直接针对混合现实中比较常见的场景进行针对优化，使用这个芯片的混合现实设备，有着专门的硬件，得用极低的功耗（不到 1 瓦）来处理解码这个摄像头的图像流，然后直接从眼镜上进行拍摄分享直播，并且能够同时实时增强音质，进行视觉搜索，实时翻译等。同时优秀的能耗比也能让智能眼镜做到更加轻便，同时保证续航。
Image
XR2+ 芯片的参数
目前也已经有不少对应的产品，不过能够实际体验的地方可能比较少，如果还没有体验过本世代的 VR，那么目前性价比最高的体验方法还是入手二手的 Quest 2 或者 Quest 3。
▍总结：探索 AI 时代的无限可能
回到骁龙发布的那段富有创意的春节视频，它不仅是一次技术展示，更是一次生动的宣言，告诉我们在新年的起点，强有力的 AI 加持下的骁龙芯片，为厂商们打开了一扇探索更多领域下应用场景的大门。
随着这些新设备、新特性和新功能的推出，我们的期待感被无限放大。从智能家居到个人穿戴设备，从自动驾驶汽车到远程医疗服务，骁龙芯片的强大性能和其背后的 AI 技术正在推动这些领域快速发展，为我们带来更多前所未有的新体验。这些进步不仅仅是技术的跃进，更是对未来生活方式的一次革新，让我们对即将到来的 AI 时代充满了无限的期待和想象。借助骁龙的 AI 技术，我们的生活将变得更加智能和便捷。新年新气象，在这个充满可能的新时代，让我们一起期待和探索，迎接更多与众不同的 AI 时代新体验。

KEEP THE THREAD GOING

更多来源文章