最新消息:

增强现实正在面临的3大挑战(中)

深度 小琳酱 1482浏览 0评论

上期我们分析了增强现实目前面临的三大挑战之一——沉浸的视野,现在我们来谈谈增强现实的第二大挑战。

实时对象分类

苹果的ARKit和谷歌的ARCore技术能让你在智能手机上实现一些非常炫丽和新颖的类AR体验,但是在大多数情况下,这些系统仅局限于“理解”地板和墙壁等平面。这就是为什么现在iOS上99%的AR应用和演示作品都只能发生在地板或桌子上。

为什么是地板和墙壁?因为它们很容易分类。地板或墙壁的平面与另一地板和另一墙壁的平面相同,所以系统有信心假定这一平面能够向所有方面延展,直到与另一平面相交。

注意,我这里使用的是“理解”一词,而不是“感知”或“检测”。这是因为尽管所述系统或许能够“看到”除地板和墙壁之外的对象形状,但目前还无法理解它们。

以杯为例。当你看着一个杯子时,你看到的不仅仅是一种形状。可以说你对杯子已经非常了解。至于了解有多少?我们来看看:

〮你知道杯子与它所在的平面是截然不同的物体

〮你知道杯子里包含一定的空间,可以用来容纳液体和其他物体

〮你知道人们可以用杯子喝水

〮你知道杯子很容易被打翻,导致杯内的液体或物体溢出……

当然,我还可以继续往下说,但关键是计算机并不知道这一点。它只能“看到”一个形状,而不是一个杯子。计算机无法得到杯子内部的完整视图,也无法映射出完整的形状,它甚至不能假定杯子内部存在一定的空间。换句话说,计算机不知道杯子是独立于其所在平面的一个对象。

因此,让计算机视觉理解“杯子”,而不仅仅只是看到一个形状,就显得尤为重要。这就是为什么多年以来,我们在AR演示作品中看到人们把基准标记附加到对象身上,以便实现更精准的跟踪和交互。

为什么会这么困难呢?第一个挑战就是分类。杯子有数千种形状、大小、颜色和纹理。一些杯子还具有特殊属性和特殊用途(如烧杯),这意味着不同的杯子可以在完全不同的场景和环境下被使用。

试想编写一个算法,可以帮助计算机了解所有这些概念,以便能够在它看到时知道这是一个杯子。那么单从眼前来看,如何编写代码向计算机解释杯子和碗之间的区别就是一个极大的挑战,更别说从成千上万个相当类似的物品中辨识出某个单一的对象了。

尽管目前基于智能手机的AR发生在你的周围环境中,但你却很难与之交互。所以我们如今在智能手机上看到的所有AR体验都被降格到了地板和墙壁上。这些系统不可能与我们周围的世界进行有力的互动,因为虽然系统能够“看到”地板和墙壁,但并不能够“理解”它们。

对于我们所设想的科幻AR更是如此,如透过AR眼镜,你可以直观看到杯子里咖啡的温度;或者将微波炉的剩余时间显示在其上方,我们需要系统“理解”更多关于我们周围的世界。

那么我们如何才能实现呢?答案似乎要涉及所谓的“深度学习”。用于每种对象类型的手写分类算法,甚至是普通的分类算法,都是一项非常复杂的任务。但是我们或许可以训练计算机的神经网络,把它们设计为随着时间自动调整编程,以准确检测周围的许多常见对象。

下一步就是大幅扩展合理的分类库,然后将这些基于图像的检测与从AR跟踪系统采集到的实时环境映射数据结合起来。一旦让AR系统“理解”我们周围的世界,我们就可以着手解决AR体验的自适应设计挑战了。

 

更多VR/AR/AI新鲜资讯及资源下载敬请关注SNAIL SHELL微信公众号(微信号:SnailShellVR),回复“我要”有惊喜。

转载请注明:蜗牛壳 » 增强现实正在面临的3大挑战(中)

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

关于我们 商务合作 寻求报道 投稿须知


官方QQ:3394800880
微信号: SnailShell-TMT
电话:86-0512-67678707
邮箱:brand@snailshell.cn