布朗大学的研究人员开发的新软件系统将手机变成了增强现实门户，使用户能够将虚拟积木、家具和其他物体放置在真实背景中，并用手操纵这些物体，就像它们在那里一样。

开发人员希望这个名为Portal-ble的新系统可以成为艺术家、设计师、游戏开发人员和其他人尝试增强现实(AR)的工具。该团队将在本月晚些时候在新奥尔良举行的ACM用户界面软件和技术研讨会(UIST 2019)上介绍这项工作。Andriod的源代码可以在研究人员的网站上免费下载，iPhone代码也即将发布。

布朗大学计算机科学助理教授杰夫黄和他的学生一起开发了这个系统。他说：“AR将是一个伟大的新的互动模式。”“我们想制造AR便携式产品，这样人们就可以在任何地方使用它，而不需要笨重的耳机。我们也希望人们可以用手自然地与虚拟世界互动。”

黄说，Portal“动手”交互的想法源于对Pokemon GO等AR应用的不满。AR应用使用智能手机将虚拟对象(如口袋妖怪角色)放置在真实场景中，但与这些对象交互需要用户在屏幕上滑动。

黄说：“刷卡并不是一种令人满意的互动方式。”“在现实世界中，我们用手触摸物体。我们打开门把手，捡起东西扔掉。因此，我们认为用手操作虚拟物体比刷卡强得多。这就是门户网站的不同之处。”

该平台使用安装在手机背面的小型红外传感器。该传感器跟踪人的手相对于虚拟物体的位置，使用户能够拿起、旋转、堆叠或放下物体。它还使人们能够用双手在真实的背景上虚拟“画画”。作为示范，黄和他的学生使用该系统在布朗大学希尔校区的绿色花园中绘制了一个虚拟花园。

黄说，这项工作的主要技术贡献是开发了适当的自适应和反馈工具，使人们能够直观地与虚拟对象进行交互。

黄说：“事实证明，如果试图应用现实世界的物理原理，真的很难拾取虚拟物体。”“人们试图抓住错误的地方，或者他们用手指穿过这些物体。因此，我们必须观察人们如何尝试与这些对象进行交互，然后使我们的系统适应这些趋势。”

为此，黄从他正在教的一个班招募学生，让他们想出在AR世界中可能想要完成的任务——例如，堆叠积木。然后，学生要求其他人尝试使用Portal-ble来执行这些任务，并记录人们可以做什么和不可以做什么。然后，他们可以调整系统的物理结构和用户界面，使交互更加成功。

黄说：“这有点像人们在Photoshop里画线的情况。”“人画的线从来都不是完美的，但程序可以把它们抹平，让它们完全变直。这就是我们试图对这些虚拟物体进行的调整。”

该团队还增加了感官反馈——物体和手机振动的视觉焦点——以使互动更容易。黄说，手机的震动帮助用户互动，他有点惊讶。用户在握持手机时会感受到震动，而不是手实际抓住虚拟物体。黄说，振动反馈仍然可以帮助用户更成功地与物体互动。

在后续研究中，用户反映系统的适应性和反馈使任务明显更容易、更省时、更令人满意。

黄和他的学生们计划继续与Portal-ble合作，扩展其对象库，改善交互并开发新的活动。他们还想简化系统，让它完全在手机上运行。目前，红外传感器需要红外传感器和外部计算棒来提供额外的处理能力。

黄希望人们下载免费的源代码，自己尝试。

他说，“我们真的只是想把它放在那里，看看人们如何处理它。”“代码位于我们的网站上，供人们下载、编辑和构建。看看人们如何使用它会很有趣。”

观看门户网站：https://youtu.be/ZYMjhKMpNXk的视频

这篇研究论文的共同作者是钱景、马家驹、李香玉、本杰明阿塔尔、赖郝明、詹姆斯汤普金和约翰休斯。这项工作得到了国家科学基金会(IIS-1552663)的支持，并由皮克斯公司提出。