星期三上午，微软展示了他们已经进行了七年的项目，这是一款名为 Project HoloLens 的增强现实耳机。
愿景远大：他们想要通过制造一副可以在用户的物理空间中将虚拟内容和真实内容流畅地混合在一起的眼镜，从根本上改变人们与计算机交互的方式。就像您在手机上安装过一次却从未接触过的虚拟现实技术一样。
他们的时间框架比他们的目标还要雄心勃勃：他们想在今年春季发布开发者工具包，消费产品“在Windows 10期间"。
所有这些听起来都不错，但我承认对此持高度怀疑态度。
Microsoft正在使用的技术面临着严重的根本性挑战，到目前为止，Microsoft关于他们如何（或是否）解决问题一直保持沉默。如果他们还没有解决问题，那么他们一年之内发货的目标就非常令人担忧。 VR和AR需要的最后一件事是一家大公司在运送另一种半成品，例如Kinect。还记得2009年的Project Natal演示吗？
事不宜迟，这是我想了解的有关HoloLens的五个最重要的事情。
这是光场显示器吗？
为了理解这一点，我们必须更深入地研究3D及其工作原理。为了获得真实，有形的3D世界的感觉，我们的大脑整合了许多不同类型的信息。我们通过三种主要方式获得关于世界的深度线索：
光学聚焦很容易为自己检查出：闭上一只眼睛，将拇指举在墙前穿过房间。然后，将焦点从缩略图移到其后面的表面。当您从拇指上方看时，您的拇指将移出焦点，因为您的眼睛的透镜现在变形较少，并且无法正确收集从其发出的光。
像Oculus Rift这样的VR耳机提供了前两个提示极其精确，但最后一个提示却效果不佳：我们的眼睛默认完全放松，因为光学系统聚焦图像的方式是通过无限远的光线。缺乏光学聚焦提示是不现实的，但通常不会分散注意力。没有它，您仍然可以拥有非常酷的游戏体验。
在增强现实中，问题有所不同，因为您必须混合来自真实和虚拟对象的光。来自现实世界的光自然会聚焦在各种深度上。但是，虚拟内容将全部集中在光学系统规定的固定的人造距离上-可能在无限远处。虚拟对象看起来好像不是真实场景的一部分。当您以相同的深度看真实事物时，它们将失去焦点，反之亦然。像往常一样，您无法在整个场景中流畅地移动眼睛并保持聚焦。冲突的深度提示充其量是令人困惑的，而最糟糕的是令人恶心的。
要解决此问题，您需要一种称为光场显示器的东西。光场显示器是使用微型透镜阵列同时显示聚焦在多个深度的光的显示器。这使用户可以自然地专注于显示器，并且（用于增强现实）解决了上述问题。
但是，存在一个问题：光场显示器本质上将单个2D屏幕映射到三个屏幕上。三维光场，这意味着用户感知的每个“深度像素"（并存在于场景中的特定焦点深度）实际上是由原始显示器上许多像素的光组成的。要描绘的深度越细，则必须放弃的分辨率就越多。
通常，光场的分辨率降低了约 8倍足够的深度精度。现有最好的微型显示器的分辨率约为1080p。假设一只高端微型显示器驱动着每只眼睛，那么微软的头戴式耳机的实际分辨率仅为每只眼睛500 x 500像素，甚至不及Oculus Rift DK1。如果显示器具有高视野，则虚拟对象将是难以理解的像素斑点。如果不是这样，浸入将成比例地受到影响。我们从来没有真正看到过镜头（只是计算机重新创建了用户所看到的内容），所以我们不知道用户体验的真实情况。
Microsoft很有可能出现了通过一些新颖的解决方案，可以在不降低分辨率的情况下使用光场显示器。但是，微软对其显示技术一直持谨慎态度，这让我怀疑他们没有。这是到目前为止我们得到的最好的解释（来自 WIRED 演示）。
要创建Project HoloLens的图像，所谓的轻粒子会反弹大约数百万次设备的光引擎。然后，光子进入护目镜的两个透镜，在到达眼睛后部之前，它们在蓝色，绿色和红色玻璃层之间跳动。
这种技术的描述实际上可能意味着任何东西（不过，为了公平起见，尽管文章对细节进行了详细介绍，但硬件确实给WIRED留下了深刻的印象。）
直到Microsoft开始发布技术规范（大概是几个月后）之后，我们才能确切了解更多信息。关于采摘的进一步说明，是否真的有必要在如此多的营销活动中淹没该项目？出于特殊原因，他们用于头部跟踪的专用处理器称为“全息处理器"，图像称为“全息图"。该产品从根本上来说很酷，以至于没有必要像这样镀金。
跟踪是否足够？
The Project HoloLens headset has a high FOV depth camera mounted on it (like the Kinect), which it uses to figure out where the headset is in space (by trying to line up the depth image it’s seeing with its model of the world, composited from past depth images). Here’s their live demo of the headset in action.
考虑到它不使用标记，跟踪效果令人印象深刻或其他作弊手段，但即使在该视频中（在严格控制的条件下），您也可以看到一定程度的摆动：跟踪并不完全稳定。可以预料的是：这种由内而外的跟踪非常困难。
但是，来自各种Oculus Rift原型的一个重要教训是跟踪的准确性非常重要。抖动跟踪只是在很大程度上稳定的现实世界中有一些物体时令人讨厌，但是在诸如Mars demo之类的场景中，他们在概念视频中展示的场景中，几乎所有您看到的都是虚拟的，不精确的跟踪可能会导致缺乏“虚拟场景中的“存在"，甚至模拟器疾病。微软能否在今年年底之前将其追踪日期提高到Oculus设定的标准（亚毫米级的追踪精度，总延迟小于20毫秒）？
这里是VR的迈克尔·阿布拉什（Michael Abrash）在Valve和Oculus任职的研究员都在讨论这个问题
[因为生成虚拟图像总是会有所延迟，[…]很难获得虚拟图像和真实图像以进行足够紧密的配准，因此眼睛没有注意到。例如，假设您有一个想要通过在可乐徽标上绘制百事可乐徽标而变成AR百事可乐罐的真实可乐罐。如果重绘百事可乐徽标需要数十毫秒，那么每次旋转头部时，效果都将使百事可乐徽标相对于罐头看起来偏移几度，并且可乐徽标的一部分将变得可见。则当您停止移动时，百事可乐徽标将恢复到正确的位置。显然，这对于硬AR来说还不够好
显示可以画黑吗？
焦深和跟踪方面的另一个问题与绘制深色有关。使用分束器向场景添加更多的光相对简单。采光要困难得多。您如何有选择地使真实世界的某些部分变暗？竖起选择性透明的LCD屏幕不会切出它，因为它始终无法正确对准焦点以遮挡您正在查看的内容。除非Microsoft秘密发明了解决该问题的光学工具，否则根本不存在。
这很重要，因为Microsoft炫耀了许多应用程序（例如在墙上观看Netflix） ，耳机确实需要能够消除从墙壁发出的光的功能，否则您的电影将始终覆盖有可见的灰泥图案：图像将无法遮挡场景中的真实物体，因此无法使用耳机的耳机很大程度上取决于周围的照明条件。回到迈克尔·阿布拉什（Michael Abrash）：
[S]到目前为止，AR行业或文学领域还没有出现过类似的东西，除非并且直到那以后，否则我们都知道并热爱的SF硬AR。 ，除非在近乎黑暗的环境中，否则不会发生。
这并不意味着AR不在桌面上，只是一会儿，它仍然会是软性AR（基于加性混合）[…]再说一遍，像“捉鬼敢死队"那样半透明。没有暗区的高强度虚拟图像也将起作用，特别是在区域或全球变暗的帮助下-它们看起来像不是真实世界的一部分。
“遮挡"是指当一个物体经过另一个物体并阻止您看到其背后的物体时发生的情况。为了让虚拟风景看起来像是世界的有形部分，对于真实物体来说，遮挡虚拟物体很重要：如果您将手举在一块虚拟图像的前面，那么您就不能透过它看到它。你的手。由于在耳机上使用了深度摄像头，因此实际上是可能的。但是，请再次观看实时演示：
大体上，他们会小心地控制摄像机的角度，以避免真实物体通过虚拟物体。但是，当演示者与Windows菜单交互时，您可以看到她的手根本没有遮挡它。如果这超出了他们的技术范围，那么这对于他们的消费产品的生存能力来说是一个非常糟糕的信号。
谈到该用户界面……
这真的是最终的用户界面吗？
Microsoft在其演示视频中展示的UI似乎可以通过使用凝视和手部跟踪的某种组合来控制虚拟场景中的光标，同时使用语音控件在不同选项之间进行选择来工作。这有两个主要缺点：它使您看起来像“闪闪发光"中的小孩子，用手指说话，但是更重要的是，它也代表了一个根本上有缺陷的设计范例。
从历史上看，最好的用户界面具有曾经将关于世界的物理直觉带入虚拟世界。鼠标带来了单击，拖动和窗口。触摸界面带来了轻扫滚动和捏缩放。这两者对于使计算机对普通大众来说更易于访问和使用至关重要，因为它们从根本上比以前更直观。
VR和AR为您提供了更多的设计自由：您可以将UI元素放置在3D空间中的任何位置，并使用户自然地与它们交互，就好像它们是物理对象一样。大量明显的隐喻提示自己。触摸虚拟用户界面元素以将其选中。捏一下将其拿起并移动。将其滑出以暂时存储。粉碎将其删除。您可以想象建立一个非常直观的用户界面，无需任何解释。您的祖母可以立即捡起东西，因为它建立在基本的身体直觉的基础上，每个人在与世界互动的一生中都积累了这些东西。花一点时间，听这个聪明的人描述一下沉浸式界面是什么。
换句话说，对我而言，沉浸式用户界面至少应该是 >与2D多点触摸屏iPhone率先推出的触摸界面一样直观。在操纵VR“鼠标"周围建立接口是一个倒退，它暴露了他们的手部追踪技术中的深层技术缺陷或对这种新媒体的有趣之处的根本误解。无论哪种方式，对于这款产品来说，不仅仅是一个巨大的Kinect级翻牌，这都是一个非常不好的信号。
希望，微软有时间获得对此的反馈并做得更好。举例来说，这是一个由爱好者为Oculus Rift DK2和Leap Motion设计的界面。大型公司设计的沉浸式UI至少应具有良好的效果。
即将到来的迹象
总的来说，我对HoloLens项目作为一个整体非常怀疑整个。我很高兴一家拥有Microsoft资源的公司正在调查此问题，但我担心他们在不解决一些关键的基础技术问题或确定良好的UI范式的情况下匆忙推出产品。 HoloLens标志着即将到来的事情，但这并不意味着该产品本身将为消费者提供良好的体验。
图片来源：由Microsoft提供