防不胜防！AI几米外隔空窥屏，HDMI线把信号泄露到空气里了

一水 发自 凹非寺
量子位 | 公众号 QbitAI

防不胜防！ 黑客通过显示器数据线泄露的信号，就能偷窥你的屏幕内容。 具体来说，是 HDMI数据线 的电磁辐射，会把一些显示信号泄露到周围空气中。本来也没什么，但是结合AI就可逆向得到原始画面内容。 来自乌拉圭共和国大学工程学院的团队提出了一种 端到端模型 ，专注于文本恢复，能将泄露信号（如HDMI）的字符错误率（CER）降至30%左右。

比如对照看下面这张图，最右为原始屏幕内容，中间为模型最终输出结果。

要知道，与模拟信号（如VGA）相比，数字信号（如HDMI）更难恢复，因为10位编码导致带宽增大和信号与像素强度之间的非线性映射。

而降至这一水平，原文内容基本也能解密了。

为了更直观，咱们来看团队演示的其中一种攻击方法。

简单提示，团队 用天线拦截 HDMI电磁信号，然后用AI尝试“复原”原始数据。

好家伙，最后这还原度是不是有点太可怕了！

用上了AI模型

具体咋做到的呢？相关研究论文已发在arXiv上。

首先，团队使用 天线 来捕捉由HDMI电缆和连接器发出的电磁波。 接下来，使用SDR （软件定义无线电） 设备接收这些电磁信号，并将它们转换成数字形式的样本，这些样本包含了原始视频信号的信息，但同时也可能包含噪声和失真。 然后，利用 gr-temest 这样的软件工具，对SDR捕获的信号进行进一步的处理，以提取出图像数据。

这个步骤可能会包括滤波、采样率调整等操作，目的是尽可能地恢复图像的原始形态。

最后，将经过上述步骤处理得到的信号输入到一个 AI模型 中，这个模型可以识别和增强图像中的关键特征，从而提高图像的清晰度和可读性。 概括而言 ，整个过程包括捕获电磁信号、使用开源软件处理电磁信号，使用端到端模型进一步处理等。

可以看到，这项研究的 关键 提升在于最后利用了深度学习技术。 团队使用了 深度残差UNet（DRUNet） ，这是一种具有编码器-解码器结构的卷积神经网络，适用于图像恢复任务。

通过优化网络结构和训练过程，DRUNet能够显著提高图像恢复的质量，特别是在文本的可读性方面。

错误率下降约60%

那么，这一端到端模型具体表现如何呢？

为了测试，他们构建了一个包含约3500个样本的 数据集 ，其中大约1300个是真实捕获的信号，其余为模拟信号。

真实样本是通过实验设置获得的，模拟样本则是使用基于分析模型的GNU Radio模拟器生成的，这些样本被用来训练和评估模型。

研究显示，在真实数据集上，使用复数样本的Pure Model在所有评估指标（PSNR、SSIM、CER）上均展现出 最佳性能 。 具体而言，使用原始图像幅度的传统gr-tempest方法在真实数据集上的CER 超过90% ，而Pure Model（使用复数样本）的CER 降至35.3% 。

同时，在合成数据上训练的模型在真实数据上可能会遇到性能下降的问题。

不过， 通过模型微调 （Fine-Tuning），即使只用 10% 的真实样本，也能达到与使用全部真实样本训练的Pure Model相近的性能。

为了验证鲁棒性，模型采用了不同采样率和显示器分辨率，结果表明 部分配置变化 可能导致性能显著下降。

虽然团队用新模型大大提高了HDMI“破解率”，但为了预防风险，团队最后也提出了 相应对策 。 通过在显示器图像上 添加低级噪声或使用背景渐变 ，可以有效降低成功率。

目前相关研究和数据集已开源，感兴趣可以进一步阅读论文。

论文：
https://arxiv.org/abs/2407.09717
GitHub：
https://github.com/emidan19/deep-tempest?tab=readme-ov-file
参考链接：
[1] https://www.tomshardware.com/tech-industry/cyber-security/ai-can-snoop-on-your-computer-screen-using-signals-leaking-from-hdmi-cables
[2] https://x.com/papers_anon/status/1813145993334100015 — 完 — 量子位年度AI主题策划 正在征集中！ 欢迎投稿专题 一千零一个AI应 用 ， 365行AI落地方案 或与我们分享你在 寻找的AI产品 ，或发现的 AI新动向

点这里 👇 关注我，记得标星哦～ 一键三连「分享」、「点赞」和「在看」 科技前沿进展日日相见 ~