科学家们深入探索虚拟世界的动因 | 自然聚焦：虚拟现实

原文作者：Rachael Pells

研究人员正越来越多地使用虚拟现实软件和头显来形成更深入的合作或开展远程工作。

在Stephen Hilton的虚拟实验室中，用机器人形象代表使用虚拟现实的学生；在这里，三位用户正在一起学习如何使用3D打印机。来源：Stephen Hilton

参观 Stephen Hilton 的实验室可以自己上手。这里不需要员工通行证、资格证或实验服；欢迎访客四处闲逛，操作设备，如果他们愿意，甚至可以将化学品洒在地板上，也不会产生任何后果。事实上，他鼓励这样做。“科学应该是互动的。就是要能让人能够制造混乱、犯错误。” Hilton说，递过一枚他刚刚在空气里涂出来的3D形状。

Hilton的实验室是一个数字实验室，通过虚拟现实（VR）头显体验，因此所造成的混乱无伤大雅。尽管比现实中更鲜明、有些超自然的附件，这个虚拟实验室的环境模拟了他在现实中伦敦大学学院药学院湿实验室的空间和设计，他的团队在那里研究合成化学，包括药物发现。

VR概念自20世纪60 年代以来就已存在，不过对这种技术的固有观念（制造笨拙图形的玩具）已经过时好久了1。在过去的几年中，由于新冠疫情推动和头显成本下降，更多的研究人员一直在探索将扩展现实（XR）纳入他们的工作中的潜在用途和收益——包括VR、增强现实（AR）和混合现实技术。

Oculus Rift和微软HoloLens等品牌正通过游戏让VR流行起来；现在，Hilton和其他研究人员正在部署相同的工具来监控实验、与国际研究合作伙伴合作，并为学生和同事开展沉浸式培训项目。

Hilton使用Oculus Quest 2头显（现作为Meta Quest 2出售），因为它的成本相对较低（约300英镑或380美元），并且允许同时使用多个头显。该软件还可在PC上运行，支持PC与头显交互，以及PC与PC、或头显与头显组合。他的虚拟实验室是使用美国开发商Epic Games的3D设计软件Unreal Engine构建的，在本地服务器上为单一用户运行，然后切换到基于云的多人和语音连接程序。

在疫情期间，Hilton的实验室成员发现，仅通过视频通话，很难与德国和美国的研究合作伙伴举行有成效的会议。“当时，现有的商业项目价格昂贵，在20000英镑到70000英镑之间，而且不能灵活满足我们的需求，因此我们不得不从头开始。”Hilton解释说。现在，他的虚拟实验室设有一个20座的会议室；而在现实实验室中，同样的空间只是个简陋的储物柜。

三名人工智能助理随时在化学家Stephen Hilton的虚拟实验室里为研究人员提供指导，该实验室的布局与他现实生活中的实验室一致。来源：Stephen Hilton

如今，他主要使用VR环境来培训学生，学生可以练习做实验或完成作业，这些作业可以通过笔记本电脑，或在家中和校园中通过VR头显进行访问。三个真人大小的卡通人物扮演了人工智能助手的角色，当用户与他们说话时会做出反应，从而随时提供支持。每个助手都有专门的定位和背景故事，并利用编程知识库以及人工智能大语言模型ChatGPT来引导用户游览虚拟空间并回答有关安全、目录和库存的问题。包括公司和研究机构在内的私人客户需要支付费用，为未来的实验室项目带来现金。Hilton的团队还利用VR环境进行教育推广，接待来自许多全球南方国家的中学团体和合作者。

这有助于让接触科学变得更容易：曾经，Hilton和他的团队只能同时监督少数化学学生和实验室成员，现在，无数的学习者可以在家或通过其他地方的合作机构练习做实验、安全评估或其他场景。这也意味着Hilton可以省去重复指导或告诉学生在哪里可以找到设备的时间，从而专注于其他项目，包括一项扩展VR的研究项目。

 “就在最近，我们为虚拟助手创建了一个可以说十种外语的工具，”他说。“知识库是实时翻译的，这意味着我可以直接用英语回答学生的疑问，而他们会听到用当地语言提供的答案。我们在全球南方许多国家看到了这方面应用的巨大机遇。”

多元化的形象

要让虚拟培训更容易进行，一个最简单的方法就是完全避免口头语言。南非比勒陀利亚大学XR解决方案顾问兼研究员Koos De Beer说：“XR开放了一种能力，使用手势和肢体语言去展示而非讲述，不需要非常懂语言。”

De Beer于2010年开始与该大学矿业工程系合作，为学生开发基于XR的培训工具，使他们能够通过虚拟教室远程“参观”矿山、隧道和其他具有潜在危险的空间。近年来，他的工作范围已扩大到工程和医疗保健领域，特别是在南非农村的贫困地区更广泛地提供VR项目。

De Beer说，用于代表VR用户的化身形象“不必以某种方式出现或说话”。例如，它们可以简单地显示为机器人，不需要种族或性别——尽管在设计形象时人类的偏见带来了挑战。（Hilton说，目前他的程序使用的机器人形象都是男性化、肌肉发达的。）

训练工具

VR 还帮助医学生在培训中更快地获得学习机会。Simran Sharma是英国卡迪夫大学和威尔士大学医院的妇产科临床医生，她因在早期医疗职业生涯中缺乏接触现实世界的实践而感到困扰。“我成为一个合格医生以后才第一次遇到败血症患者——对许多严重和罕见疾病而言这是常态。”她说。

她解释说，使用医学假人教学生如何诊断和治疗败血症被认为是培训的金标准，但疫情使面对面培训变得困难。“考虑到假人的成本（约40000英镑）、培训师的时间以及训练仅限于专业中心的事实，训练就变得非常昂贵、需要大量资源。如果你因为生病错过了一天的训练，那就太倒霉了。”她补充道。

英国卡迪夫大学的医学生使用VR头显探索虚拟败血症场景。来源：Rescape Innovation

Sharma在 2019 年目睹孕妇在分娩过程中因败血症病危，其后决心改变这种状况。在卡迪夫大学担任研究员期间，她帮助开发了一种用于败血症识别的VR教育工具，作为英国跨医学和科学研究合作项目败血症的一部分。它的VR项目通过向学生展示一系列模拟来展示败血症和相似病症的差异。与Hilton的形象化虚拟实验室不同，Sharma选择拍摄演员表演的真实医疗场景，学生可以使用VR头显和手柄观看并互动，然后通过屏幕多选测试来检验学生在体验中获得的知识。

 “虚拟现实提供了一种可重复、标准化且不依赖于培训师水平的临床培训方法。它从实证证据出发，已经被证明是医疗保健领域的强大工具，其应用在全球范围内不断增长。”Sharma说。（例如参考文献2。）

提高生产力

除了VR在培训和教育方面体现出潜力之外，许多使用该技术的科学家也希望，有朝一日它能让他们的实际工作更加高效。

2020年，英国格拉斯哥大学的化学家Lee Cronin和他的同事设计了一个VR程序，使他能够远程控制实验室中的机器人。Cronin和他的研究小组使用一系列可编程自动合成有机分子的机器人（他称之为“化学计算机”），作为他们探索新分子和产生人工生命形式的一部分。这种自动化最大程度地减少人类处理化学品的需要，使化学实验更加安全，并且速度更快，因为机器人可以每周7天、每天24小时连续工作。

VR技术的加入使得Cronin无论身在何处都可以移动组件并向机器人发出指令。“它还让我们能够走捷径”，他解释说，“我可以拿手柄，一手虚拟抓住锥形瓶。如果我做出倾倒动作，机器人知道将其解释为将液体从手a移动到手b，因此它可以打开泵和阀门。我们尚未完成对它的设置，但操作系统已经有了。”他补充，“这与飞行模拟器的工作方式很像。”

化学家Lee Cronin的“化学计算机”。VR环境控制一系列现实世界的机器人，这些机器人可以通过编程自动合成有机分子。来源：格拉斯哥大学 CroninLab

他认为以这种方式使用的VR还可能在许多其他存在潜在危险的科学场景，包括核退役和炸弹处理研究中发挥重要作用。而且这一技术还会带来生产力上的收益：“如果我们要解决重大的社会问题，比如寻找针对疾病的新药，我们就需要发明更多的分子。但化学空间确实很难研究。”他解释说。“[对于药物而言]临床上批准的小分子只有大约2800 种——为了做到这点，我们可能已经尝试了数十亿个分子。癌症的治疗方法也许就在那里，但我们现实中没有能力自己一个个地遍历每一种化学反应。”

据Cronin称，他位于格拉斯哥的衍生公司 Chemify 已从国际投资者那里筹集了超过 3300 万英镑，用于支持他的自动化新分子设计计划以加速药物开发。

智能镜子

能够在另一种现实中想象自身，正在激发新的研究途径。神经科学家Olaf Blanke在洛桑瑞士联邦理工学院（EPFL）领导认知神经科学实验室。经过多年对截肢者的假肢和认知疗法的研究，他认为VR技术正在彻底改变对人类大脑和自身身体感知的科学理解。

 “VR本质上是一个非常智能的镜子，”他说，“作为成年人，我们刷牙时很容易确定我们跟镜子中看到的形象不一样——它是镜像的。但一旦你有了VR形象，你就可以尝试很多不同的视角。它让我们能够提出关于视觉自我和自我意识的新问题。”

他说，VR 技术有可能有一天会取代或至少改进研究记忆和创伤的传统方法。“过去，像情景记忆这样的东西是在实验室环境中通过要求参与者记住单词列表来测试的，这有明显的局限性。通过VR，我们可以重新创建具象的3D环境，然后测试记忆以及其他数据”——例如跟踪眼球运动、心率和其他生命体征。

他还一直在尝试使用VR来研究离体体验——估计全球10%的人口都会经历这种现象，但原因还没有得到充分理解³。

Blanke希望对这一领域的进一步了解将为神经系统疾病患者带来新的、更好的治疗方式。但技术限制仍然存在。VR头显使用一段时间后会变得很重，让用户感觉难受。他说，招募足够的程序员也一直很难。“如果有更多能够轻松适应非程序员的软件就好了。但科学家只是市场的一小部分，所以我认为这种情况不会很快改变。”

没那么简单

开发VR程序绝非易事。当Hilton计划自己的虚拟实验室时（该项目于2000年开始，但受到2020年疫情推动加速），他说自己那时“有点狂妄了”。他补充道：“在开发了自己的3D打印软件和数字流PC软件后，我们以为也可以轻松制作自己的VR软件。然而，事实证明这比我们最初想象的难。”在博士后研究人员及其3D计算机辅助设计（CAD）技能的大力帮助下，Hilton花了多年时间才将软件提升到令他引以为傲的品质。

“我们实验室里有大约10个人，他们的背景各不相同——生物医学、药学和化学学位，但没有计算机专业——我们从头开始对每个人进行培训。首先是真实设备的CAD设计，然后是人工智能编程，然后是CAD到VR转换。所有[实验室成员]都会与用户一起进行课程，这样他们就会适应对其他人的VR培训。”Hilton说道。但并不是每个实验室都有这样的时间和资源。

在大多数情况下，VR在科学研究中最广泛的实际用途似乎是作为培训工具。它在教育推广、扩大课程规模和提高普及性都有显著的机会。但它不是什么灵丹妙药：尽管头显的成本相对较低，但获得VR仍然是有困难的。

此类计划依赖于快速的互联网连接，而许多地区没有这个条件。据联合国称，到2021 年，仍有29亿人没有互联网。例如，在南非，在不时停电的影响下，即使是大城市也难以联网，而互联网对农村地区更是遥不可及。对于De Beers来说，这意味着确保他帮助开发的所有程序都能够使用手机数据并且不依赖于宽带互联网。但他说，即使这样也可能存在问题。“我们经常需要提前计划，以利用我们自己的联网资源。”例如使用卫星——尽管使用航空航天公司Space X的低延迟卫星互联网（名为 Starlink）让这容易了一些。

对VR技术缺乏了解，也仍然是广泛接受的一个基本障碍。Sharma解释说，“我们向之展示产品的许多学术教授觉得，VR完全是古怪和不自然的。但对于和我们一起工作的20多岁的医学生来说，这就没什么特别的。”

为了加速文化上的转变，大学和其他学习中心可以发挥积极的作用。“我们的很多工作也是让人们接触和习惯技术，因为毫无疑问，他们在职业生涯的某个阶段将必须用到它。”De Beers解释说。为此，他在比勒陀利亚大学的团队设立了“XR玩具箱”：一个独特的空间，学生和教职员工可以随时进来玩技术。“它是为了实现技术接触的工具。”他说。

VR是科学家在实验室玩玩具的借口吗？“当然，”Cronin承认，“但它的意义也远不止于此。人类总是使用工具做出新发现，而VR只是工具箱里的下一个工具。我不认为这会剥夺人类的知识。但它肯定将会改变工作的性质，并有望带来更好的工作方式。”

参考文献：

1. Cipresso, P., Giglioli, I. A. C., Raya, M. A. & Riva, G. Front. Psychol. 9, 2086 (2018).

2. Pottle, J. Future Healthc. J. 6, 181–185 (2019).

3. Blanke, O. BMJ 329, 1414 (2004).

原文以Why scientists are delving into the virtual world为标题发表在2023年8月23日出版的《自然》增刊“自然聚焦：虚拟现实”上。

© nature

Nature | doi:10.1038/d41586-023-02688-1

版权声明：

本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考，一切内容以英文原版为准。欢迎转发至朋友圈，如需转载，请邮件[email protected]。未经授权的翻译是侵权行为，版权方将保留追究法律责任的权利。

© 2023 Springer Nature Limited. All Rights Reserved