VR | #7 如何对3D影像进行视差分析,从帧同步问题说起

 文 | HW君 

本文为B站【V7】期的视频讲稿。

如何对3D影像进行视差分析?从双目相机的帧同步问题说起【双目VR摄影#V7】

https://www.bilibili.com/video/BV1M14y197GC


0. 3D影像的视差分析

个人DIY双目相机用于拍摄3D影像,会有一个难以解决的问题,那就是无法保证左右画面的时间同步。

这种左右帧的时间不同步,会造成各式各样的视差错误,干扰人们对于深度的感知,最终导致观影时的眩晕。

 

消失的模因,大家好,我是HW君。

欢迎来到【V7】期,也就是「双目VR摄影」系列的第7期。

【V系列】狭义上讨论的话题是,如何拍摄与制作「VR影像」。

广义上探讨的则是「摄影」「光学」「VR」这三个学科的交叉地带。

 

在前面2期,我们介绍了2套DIY的双目相机方案,然后提到在DIY里有一个无法解决的问题,那就是左右相机画面的帧同步。

所以这一期我们主要先从双目相机的「帧同步」问题说起,谈谈如何对「3D影像」进行基础的视差分析。

 

 

1. 左右帧的时间同步

在上一期我们说普通玩家DIY的双目相机,帧同步问题是无法完美解决的,只能尽量去缓解。

评论区有很多朋友没有理解问题的关键是什么,很多人都说用时码器来同步就好了。

如果只是想要后期对齐左右两帧画面,其实是非常容易的,根本用不到时码器。

我们在【V5】期里讲用Mistika拼接V180视频时,提到过在录制前会先拍一下手,后期只要找到拍手的那一帧,进行前后对齐就行。

甚至很多时候不需要特意拍手,随便录制,后期也可以很容易地进行手动逐帧对齐。

但这种方式只是在后期对齐时间轴,而我们需要的是,让左右2帧在前期拍摄时,就有绝对时间上的同步。

 

如何更好地理解这两者的区别呢?

我们以1秒30帧的拍摄格式为例,那么每1帧的时间大约为33ms。

为了方便计算,假设快门速度为1/1000,也就是每一帧的曝光时长为1ms。

在同时按下2个快门之后,2个相机开始录制。

但我们无法保证2个相机真的是「同时」开始录制的,哪怕连上了同一个快门线也是如此。

所以左眼和右眼的帧总会错开一个时间差。

运气最差的情况下,左眼和右眼刚好错开半帧的时间,也就是16ms。

运气最好的情况下,左眼和右眼刚好就是完美同步的,也就是0ms。

而具体错开多少时间,都是随机的,也就是每次按下,左右画面随机错开0到16ms。

 

那后期再将这些时间对齐有用吗?

事实上只要进了后期,它们的每一帧就都是对齐的,但这种对齐是没用的。

我们只要参考一个外部的精确时钟,就能发现问题所在。

假设运气不好,右眼画面每帧都落后了左眼10ms,然后我们把所有曝光节点的绝对时间都列出来。

可以看到,右眼的所有曝光节点都会比左眼慢了10ms。

哪怕我们后期会把2条时间轴对齐,但这种前期的时间差是没有办法被改变的。

因为对于一个快速运动的物体来说,在10ms的时间里,物体的位置已经移动了一段距离。

在1ms时刻左眼看到的画面,和在11ms时刻右眼看到的画面,无法构成一组拥有正确双目视差的「立体像对」,因为物体的空间位置已经发生了改变。

所以这种前期的时间延迟是不可忽视的,也无法进行后期的调整。

 

1.1 水平视差错误

双目相机是模拟人眼水平并列放置的,所以「3D影像」中的「视差」一般指是「水平视差」。

在【V1】期里我们有展示过这一机制。

 

我们将两只手指放在正前方,A近B远,大概在距离人眼20cm和40cm的位置。

如果闭上一只眼睛,只用单眼观看,那么无论在左眼还是右眼看来,A都没有遮挡住B。

而在双眼立体成像之后,我们能感觉到A比B更靠近我们。

这是因为人眼的「双目汇聚」和「双目视差」机制具有空间测距功能。

双眼「对差」到近处的A时,远处的B成「散像」。

双眼「对差」到远处的B时,近处的A成「错像」。

大脑对于双像的分散和交错程度进行分析之后,可以得到各个物体的深度。

对这一机制还不熟悉的朋友,可以回看【V1】期。

 

我们再看一下拍摄3D影像时的情况。

假设距离双目相机正前方的1米处有一个小球, 2 米处有一面墙。

因为左右相机的空间位置不同,所以拍下来的3D影像左右两幅画面之间是有视差的。

我们用双眼在VR里进行观看时,两只眼睛看到不同的画面,双像融合之后,大脑可以感受到小球在墙的前面,离人更近。

当然这是小球静止的情况,而运动起来的话情况也类似,假设小球从左往右匀速运动。

相机以1秒30帧的格式记录,即每帧33ms,快门为1/1000也就是曝光时间为1ms。

当小球从左往右匀速运动时,在每一时刻的每一个位置,都有左眼和右眼各自记录一帧画面,这样的左右两帧就构成一组具有「双目视差」的「立体像对」。

我们后期用VR进行观看的时候,在每一帧都会感觉到小球在墙壁之前。

 

但假设双目相机的的左右帧之间有延迟呢?

这里的延迟不仅仅要考虑左右相机之间的时间延迟,也需要考虑快门速度,以及移动物体相对于相机的角速度。

如果延迟的情况非常严重,那么人眼可能会很难将其融合为一个立体的单像,而是分解为有残影的双像。

但很多时候并没有严重到分裂为残影的地步,而是会造成某种奇怪的深度感知异常。

 

我们假设两个相机之间没有帧同步,右眼的每一帧相对于左眼都有10ms的延迟。

而小球的运动轨迹很快,所以10ms内小球的位置已经向右移动了一小段距离。

将左眼相机拍到的小球是标记为青色,右眼则标记为洋红,如图所示即为每帧画面。

每个右眼画面的洋红小球都落后了左眼青色小球10ms。

这样洋红小球就没有办法和青色小球共同构成一组「立体像对」,因为小球位置发生了改变。

此时拍下来的3D影像就是错误的,后期用VR眼镜进行观看时,小球的深度会发生改变。

原本在1米处的小球,现在看起来像是距离有3米,落在了2米的墙壁后面。

于是这种在双目显示器里才会出现的深度冲突就产生了。

 

而如果右眼提前了左眼10ms,那么右眼看到的小球会落到左眼的小球的左边。

此时在VR眼镜里观看时,我们会发现原本1米处的小球,看起来像是在0.5米的位置。

离人眼更近了。

虽然小球仍然是在墙壁之前的,没有冲突,但这种异常的近距离也常常会引起人的警惕,让人下意识地想要躲闪。

 

刚才列举的2个场景,小球的运动是匀速的,但如果它是变速运动的,那情况又会不同。

如果小球的运动速度不是均匀的,那么叠加上左右眼之间的延时,不同「立体像对」的小球的深度就都是不同的。

在VR里观看的时候,我们可能会觉得小球的深度是变来变去的,有时候落在了更远的墙壁之后,有时候又突然跳到了贴脸的位置。

双眼在面对这种情况是很难进行「对差」的,会造成严重的眩晕感。

 

我们在【V系列】每期视频分享样片的,那个网盘链接里的「第2次更新」文件夹里,有一个VR180视频叫「紫荆的大道」,拍摄的是广州越秀公园门口的那条种着紫荆的路。

这个VR180视频就是用索尼A6400的30帧格式拍摄的,左右眼之间会有随机的帧不同步。

在这个视频场景里有非常多横向移动的车流,所以就非常容易出现上面提到的「水平视差错误」。

 

例如在这个机位里,中距离处的木棉树是静止的,哪怕是出现了很严重的帧不同步,木棉树的深度也是确定的,且是正确的。

但横向移动的车流的深度,则会因为左右帧的不同步而发生变化。

像在这个场景里,右眼相对于左眼就有一个延迟。

因此从左往右移动的近处车流,我们在观看时会感觉比中距离处的木棉树还要远。

但是从右往左移动的近处车流,则会因为右眼的延迟,看起来离人比真实距离要更近。

包括在木棉树后面更远处的车道上,从右往左移动的车辆,感觉会比木棉树要离人更近。

虽然在「单眼线索」看来,车已经被前面的木棉树遮挡住了,但「双眼线索」会告诉你,这个车的深度离人更近,这种「单眼-双眼」之间的深度冲突会令大脑感到非常困惑。

 

当然普通人如果不知道如何对「3D影像」做视差分析,那么他们可能得不出这些结论。

一般人在观看这样有视差错误的VR180视频时,只会觉得双眼出现对差困难,觉得这个画面看得让人头好晕。

但是3D影像的创作者还是要知道怎么分析视差,不要出现奇奇怪怪的错误,让观看者感到难受。

所以在搞清楚了这些之后,我会尽量避免这种快速横向水平运动的场景。

或者如果一定要拍这种场景,就多拍几次,因此帧的时间差是随机的,运气好就能拍到一两段延时很小,可以用的画面。

 

1.2 垂直视差错误

刚才讨论的是水平横向运动的情况,如果物体是沿着竖直方向运动的呢?

因为我们的双眼是水平并列的,所以正常视野内的大部分图像都是没有「垂直视差」的。

而如果左右相机无法保证帧同步,那么一些竖直方向运动物体的垂直视差就是无法避免的。

例如篮球运动,篮球会在竖直方向快速移动。

 

我在网盘第2次更新的《周末的运动》这一段VR180视频里,就有一段小朋友们打篮球的场景。

因为机位是固定的,所以大范围静态场景的垂直视差是没有问题的,但是这些垂直弹跳的篮球就因为帧不同步,出现了很明显的视差。

这不仅让人觉得画面很卡顿,还让人感觉整个画面非常凌乱,眼睛不知道要往何处去注视。

 

不过这种大场景静止,小物体运动的情况还比较好。

如果画面中有大范围的场景出现不应该存在的垂直视差,那么后果就是灾难性的。

在【V5】期里我们提到一款VR视频播放软件DeoVR,它的画质调节选项里有一个叫Vertical Offset,调节它的话可以为左右眼画面增加一个垂直视差。

大家可以试试调节一下这个选项,给画面增加一个较大的垂直视差,然后就会发现自己的眼睛压力升高,头晕恶心,非常难受。

因为我们人眼并不会出现这种一只眼睛看上面,一只眼睛看下面的情况。

所以在3D摄影里,一定要避免出现这种大范围的垂直视差。

像那些传统的双眼光学仪器,例如双筒望远镜,会要求两眼的视轴在垂直方向的夹角不能超过10分,也就是1/6度,不然会导致使用者眩晕。

可见人眼对于垂直视差非常敏感。

 

因此在【V5】期里讲VR180的校准思路时,我们说要以中央无穷远的物体为参考。

中央无穷远的物体既没有水平视差,也没有垂直视差。

尽量优先校准中央部分的垂直视差,这样可以消除大部分恶心眩晕感。

而除了双目相机的两个光轴没有水平之外,左右画面使用了不同的放大倍率也会导致大面积的垂直视差。

例如【V6】期讲的PICO大熊猫直播,其实就是左右的美科6-11mm变焦鱼眼镜头被拧到了不同的焦段,而后期的鱼眼解算又没有跟着调整缩放,所以导致出现了大面积的垂直视差,令人恶心眩晕。

总之我们要保证双目相机的左右2个画面的一致性,不然最终的3D影像出现错误的垂直视差,就会伤害观看者的眼睛。

 

 

2. 缓解帧不同步

所以上一期【V6】期里,很多朋友说可以用时码器来解决帧同步的问题,实际上是不行的。

因为时码器并不改变相机的内部时钟,而只是为相机的每一帧都添加一个额外的标记数据,方便后期进行时间轴对齐。

如果要实现前期的时间同步,那么专业的摄影机上一般会有「同步锁相」Genlock功能。

 

一般是用一个外部的同步信号发生器,同时为多台摄影机发送一个作为基准的精确时钟,然后每台摄影机都按照这个外部时钟来录制每一帧。

这样就可以在前期就达成精确的帧同步。

但这种功能一般只有那些大块头的专业摄影机才会有,消费级的相机不太可能有这个功能。

而就算采用这种大块头的专业摄影机,那么摄距也会变得非常大。

我们在【V3】期里有讨论过,如果摄距太大,也会造成深度感知异常。

所以我会期待有更多专业的VR180相机出现,而目前在DIY的时候我们只能尽量去改善这个问题。

 

2.1 提高帧率和降低快门

例如这套A6400最高只能拍4K30帧,因此每一次按下快门都是随机有0ms-16ms的延迟,所以我会习惯每录1分钟就暂停保存一下,再接着继续录。

这样多碰一下运气,就总有一些素材是能用的。

 

如果其他相机能拍60帧,那么帧同步的问题也可以得到一些缓解。

因为拍60帧时,每次按下快门会随机出现0ms-8ms的延迟,这个延迟只是30帧一半。

像【V5】期里用GoPro11+Max镜头就可以拍60帧的VR180,不过尽管如此,运气不好时这个延迟仍然是可以被感知的。

我也看过一些其他人拍的60帧的VR180视频,只要遇到高速移动的物体,也经常能发现帧不同步的问题。

 

而除了提高帧率之外,我们也可以尝试降低快门速度,增加每帧的曝光时间。

例如在拍30帧时,把快门降低到1/30,此时每帧的曝光时间是33ms,和单帧的时间相同。

虽然左右帧之间仍然有时间差,但它们会有比较大的重叠区域。

反映到画面上就是会有比较大的运动模糊,这些运动模糊可以稍微缓解一些帧不同步的问题。

像网盘第2次更新的《小镇的夜市》这个VR180视频,因为是晚上低光夜拍,所以我把快门速度设置在1/30-1/60之间,这样提高了单帧的曝光时间,增大了动态模糊。

可以看到暂停时运动画面会有点拖影,但因为左右帧之间的拖影会有比较大的重叠区域,因此这种运动模糊可以在一定程度上缓解帧不同步的问题。

 

2.2滚动快门效应

我们在【V6】期里说过,A6400的4K25帧的滚动快门效应非常严重,会加剧帧不同步的问题,所以更推荐拍4K30帧,虽然30帧时也很严重,但要比25帧好。

那么什么是滚动快门效应呢?它一般也叫做果冻效应。

简单来说就是,使用「滚动快门」的相机在曝光的时候,每一帧画面是一行一行曝光的。

因此画面的第一行和最后一行会有一个曝光的时间差。

 

A6400在4K25帧时,第一行和最后一行的时间差是40ms。

而在4K30帧时,第一行和最后一行的时间差是31ms,会小一点,但也很严重。

也就是我们前面提到的这张「帧同步」的示意图其实是不全面的。

这里的第1ms只是左眼第一行的曝光时间,左眼最后一行的曝光时间其实是在第31ms。

 

而两个A6400并不是同向放置的,而是将底部靠在一起,2片CMOS的方向是不同的。

所以左边的画面是从左到右逐行曝光,而右边的画面是从右到左逐行曝光。

因此即使我们有办法让两个相机从同一时刻开始录制,因为滚动快门效应的存在,A6400的这套方案也只有在画面的正中间是同步的,而画面的左边和右边全都是不同步的,不同步的程度从中间向左右两边递增。

如果再加上初始录制时间的延迟,那么情况就会变得非常复杂。

所以A6400的帧不同步问题,受到滚动快门效应的影响非常大。

 

我经常会发现画面的某一个区域是同步的,而另一个区域就是不同步的,几乎呈现出一种完全随机的情况。

像我在网盘第2次更新的《周末的运动》里有一个踢足球的场景,有一段原本是一镜到底的。

足球在左边的时候左右帧是同步的,而球传到右边的半场时,右眼差不多快落后了一帧时间,左右帧完全同步不上,画面出现扭曲感。

但因为刚好落后差不多一帧,所以还有补救方法。

当球传到中场的时候,我把左眼画面其中的一帧复制了2份,就刚好可以抵消掉右眼的延迟,这样球传到右边半场时,左右两帧就还是同步的。

 

那这种因为CMOS读取方向不同造成的帧不同步的问题,其实在专业的VR180相机上基本上不会存在,因为一般不会这样以不同的方向去摆放CMOS。

我们在DIY里这样摆放其实是为了缩小摄距而不得已为之。

但对于高速运动的物体,滚动快门效应仍然是无法忽视的,在一些体育运动的场景里,还是会很容易造成深度感知异常,因为「双目视差」的测距精度是非常高的。

因此如果为了达到最好的效果,高端的VR180相机应该使用「全域快门」的CMOS,它可以对整个画面进行同时曝光,而不是使用逐行读出的「滚动快门」的CMOS。

 

 

3. VR180相机的现状

讲了这么多,我们会发现DIY之路困难重重,有些问题普通人是解决不了的。

但目前市面上很多专业的VR180相机在这些方面也做得不好。

 

不久前泰科易出了一款用于直播的VR180相机,泰科易官方提供一段样片,我有下载进行观看。

那很遗憾,这段官方的样片就有很严重的帧不同步问题。

一些快速运动的画面,例如模特说话、眨眼、手指动作,都会有一些奇怪的扭曲感。

例如看这一帧,模特在说话的时候,左眼画面的嘴巴已经张开可以看到牙齿,而右眼画面的嘴巴就慢了一些,还看不到牙齿。

也就是右眼画面相对于左眼有一个时间延迟,这个延迟是可感知的。

当然这段样片是4月份机器还未开售时发布的,我不知道现在正式开售的版本里,还有没有存在帧不同步的问题。

但在它的购买链接的商品详情页里,这段样片仍然被用来作为宣传。

截止上传这期视频的时间,跟据泰科易官方的Facebook讨论组来看,正式开售的版本仍然有这个问题,但官方说后续会通过一个固件更新来解决这个问题。

 

除了泰科易之外,其他家的相机或多或少也会有一些问题。

PICO早期的VR直播,基本上都是用西顾视频的FM系列的相机。

这个系列的相机在大部分情况下,帧同步都是正常的。

但经常会播着播着,左右两帧突然就不同步了,持续一段时间,然后再同步回来,不是很稳定。

例如我们翻一下PICO官方制作的《德宏芒市万人狂欢泼水节第二场》这个视频,在「咫尺互动」视角的1小时48分50秒处开始,画面会突然卡一下,然后左右帧就开始不同步,右眼落后左眼,过了1分多钟才又卡一下同步回来。

另一个PICO官方制作的视频《三月街民族节之赛马大会第2期》的第1集,在14分45秒处,也是突然卡了一下,左右帧开始不同步,右眼落后于左眼,过了几十秒后才恢复同步。

注意以上我举的这两个例子,并不是我刻意去找的,而只是打开首页推送的视频,随便点点进度条,就能发现帧不同步的问题,可见它出现的频率很高。

甚至有时候我点进PICO的 VR直播间,随便翻一翻,就能发现一些直播间的左右帧不同步,可能播了半个小时都还是不同步的。

这种画面我多看2分钟就会开始头晕,而实际上这种技术问题其实是完全可以避免的。

 

当然刚才说的这2个VR180视频应该是西顾旧款的FM DUO拍的,也并不清楚它的新款相机有没有改善这个问题,但我还是有点怀疑这个问题没有解决好。

我们上一期【V6】期讲美科6.5mm镜头的对焦问题时,有说过西顾视频FM DREAM的官方样片,其中一个打鼓的机位,右眼就是没有对上焦的,在VR里的观看体验会不好。

但其实这个样片还有一个从左边侧面拍摄的机位,这个机位的画面我在第一次看到的时候就感觉到了怪异,所以暂停下来做一下视差分析,结果这一暂停就更加疑惑了。

这个机位的单帧画面是这样的,它竟然是有残影的。

这其实是不合理的,因为正常相机不太可能会拍出这样的一帧画面,尤其是其他机位都没有这个问题。

那我这里有一个猜测,就是这个机位的原始左右画面是帧不同步的。

然后因为帧不同步在VR里观看是违和的,所以官方后期对这个机位的每帧画面都进行了「时间插值」处理,可能用到了「帧混合」或「光流法」,所以才让这个机位的单帧出现这种残影。

但是连续播放起来的话,这种残影反而可以改善帧不同步的问题,它跟我们前面讲到的增加动态模糊的思路是相似的。

这算是一种后期对于帧不同步的补救措施。

当然这只是我的一个猜测,也有可能这里的残影并不是帧同步的问题,而是这个机位的相机拍成了30帧格式,和其他机位的50帧无法匹配,所以后期才进行插值补帧。

 

总之这些VR180相机的价格都很昂贵,但是哪怕官方提供的样片却能发现各种各样的问题。

而如果不是VR180,而是3D的VR360,那问题会更加严重。

例如我们在PICO视频里搜「舞者」这个关键词,然后往下拉,会看到这么几个视频。

好几个外国妹子360°围着你跳舞。

这几个视频都有非常明显因为帧不同步导致的扭曲感,深度感知异常,让人很难进行对差。

那这几个视频其实是Youtube上的VR Gorilla这个团队拍摄的,他们团队用的VR相机是Insta360 Titan和看到科技的Obsidian R。

这种360°的VR相机涉及到更多摄像头的拼接和同步,像Titan的话是8个摄像头,Obsidian R的话是6个摄像头。

那具体PICO引进的这几套视频用的是哪款相机所拍摄的,也不清楚。

但很明显这几套视频的帧同步没有做好,画面有严重的扭曲感。

 

我们可以看另一个例子。

Youtube上的Hugh Hou的博主,不久前发布了一段VR360的视频,他是用Insta360 Pro2拍摄的,题材和立意都挺不错的,与火共舞。

可以看出来制作得很用心,但是如果我们逐帧暂停观看,就能发现画面有帧不同步的问题,有非常多的深度错误。

当然这些深度错误不只是因为帧不同步,还有多摄像头之间的拼接不完美,都共同导致了视差上的问题。

这种深度错误严重影响了这个视频的观赏性。

这也是我至今对于VR360格式提不起兴趣的原因,它面对的问题要比VR180复杂得多,短时间内看不到有什么好的解决方案。

那Hugh Hou的《Flowing with Fire》这个视频PICO也没有引进到国内,所以我将其上传到下方的网盘链接里了,大家可以下载到本地观看。

有Quest的朋友则可以直接在Meta Quest TV里观看。

而前面提到的泰科易和西顾的相机样片,也同样有上传到网盘里了,大家可以尝试分析一下视差问题。

 

 

4. Vision Pro的3D影像

不久前Vision Pro发布之后,有很多朋友关心苹果头显的3D相机所拍摄的「空间影像」,包括「空间照片」和「空间视频」,究竟是何种形式。

它们是普通的「3D影像」,还是建模后的6DOF「体积视频」。

如果是传统的「3D影像」,那么影像的视角应该是固定的。

 

但Vision Pro的发布会视频里,可以看到演示画面有一个视角上的旋转,那这个视角旋转就给人们造成了困惑。

究竟是拍摄者前期就绕着小朋友转圈,才获得这个旋转效果,还是苹果对整个空间进行建模,使得我们拥有视角上的自由度。

如果是前者,那么它就只是传统的「3D影像」,苹果的宣传片用了投机取巧的方式让我们产生误导。

如果是后者,那么它就是6 DOF的「体积视频」,那这个的难度就特别大了,所以大家会关心苹果是如何去实现的。

而那些发布会过后现场体验过Vision Pro的用户,似乎也没人能说清楚这一点。当然我没有试用过,所以也只能猜测。

但如果后续大家能提前体验到Vision Pro,只要稍微进行一下视差分析,那么就很容易能够得到答案。

 

那么要如何区分一段VR视频,究竟是传统的「3D视频」,还是建模过的6dof「体积视频」?

其实我们在一年前的【R6】期的【2-3】小节里曾经讨论过这个问题,当然那期视频其实存在许多小错误,但是当时提到的那个方法仍然是有用的。

这个方法就是「歪头杀」。

所有传统的3D视频,我们在观看的时候要保持两眼的水平,一旦歪头,水平的双目视差会被破坏,近处融合的立体像会被分解为双像。

无论是平面3D电影,还是VR180视频,都是如此。

但是如果我们在像「轻世界」这样的实时建模渲染的场景里,我们就可以随意地歪头,而不会造成双像分解。

因此如果想要达成6DOF的自由度,那么就需要对场景进行实时渲染。

 

但是这里其实也有一个比较大的误解,那就是「拍摄」和「建模」并不是区分6DOF的关键,关键是在于「实时」。

因为在6DOF的「建模」场景里,3D引擎也有2个虚拟相机用来「拍摄」画面,最终总是会渲染出2幅2D的画面,交给左右2个屏幕去分开显示。

这样的2幅画面它也只是拥有水平视差,没有垂直视差。

我们能够歪头而不导致双像分解,仅仅是因为当我们歪头时,头显可以「实时」获取我们头部的姿态,从而控制3D引擎里模拟人眼水平放置的虚拟相机,跟着头部的姿态一起歪,然后捕获歪头之后的「水平视差」。

而在传统的3D视频里之所以我们歪头之后双像会分解,是因为前期拍摄的双目相机是固定水平放置的,它没有办法跟着我们的头部一起进行实时的姿态运动。

如果双目相机可以跟着我们的头部姿态一起实时运动,那么我们同样可以得到6DOF的3D视频体验,而这就是「双目VST彩色透视」的原理。

因此「双目VST」最基础的那部分还原现实场景的功能,其实完全是不需要依赖于建模的。

VR设备可以在不理解现实环境的情况下,通过VST双目相机去还原人眼看到的现实环境。

 

所以我们在【R7】期里说过,「双目VST」其实就是一类实时观看的VR摄影。

如果不懂「双目VR摄影」,那也么就不懂「双目VST」,它们的基础原理是一致的。

当然说得有点远了。

现阶段我们可以用「歪头杀」来区分看到的影像,是传统拍摄的3D视频,还是实时渲染的「体积视频」。

因此如果你能够提前体验到Vision Pro的「空间视频」,那只要卖个萌歪个头,看看双像是否会分解,就能分辨它是传统的「3D视频」还是6dof的「体积视频」。

 

当然也有一些朋友觉得苹果这次演示的「空间视频」,很像Windowed 6dof,它是介于「3D视频」和「体积视频」之间的一个小众格式。

这个格式也没有垂直视差,但在水平方向有移动视差,所以也能拥有一个有限的平移轴的自由度。

而这个格式在歪头杀时也会导致双像分解,所以要如何区分呢?

其实也不难,我们只要闭上1只眼睛,然后平移运动,看看有没有出现单眼的「移动视差」。

也就是留意在单眼观看时,移动位置之后,前后景的遮挡关系有没有变化。

如果是传统的3D视频,那么画面就不会有变化。

而如果是Windowed 6dof,那么它就会有单眼的移动视差,前后景的遮挡关系会有变化。

 

当然说了这么多,我自己倾向于认为Vision Pro所拍的「空间视频」就是传统的普通「3D视频」,只是发布会的那个宣传片用了投机取巧的方式让我们产生误导。

如果你后续能提前体验到Vision Pro,记得对它所拍的空间影像做一下视差分析,然后告诉我一声。

然后因为不久前朋友邀请我帮忙模仿苹果拍一段吹蜡烛的VR视频,所以我就拍了两个。

其中一个是用A6400这一套拍的VR180视频,另一个是用酷看EGO拍的平面3D视频。

这两个都有上传到网盘里了,有兴趣的朋友也可以看一下,体验一下蜡烛烟雾吹在脸上的感觉。

 

 

E. 结语

这一期主要由双目相机的「帧同步」问题,引出如何对3D影像进行基础的视差分析。

并讨论了很多VR180相机的问题。

我希望这些问题会被越来越多的人所讨论和关心,这样大家对于VR影像的认识才能有所提高。

虽然VR视频已经存在很多年了,但XR行业内普遍看不起VR影像,觉得不做6DOF就没有技术含量。

但其实整个行业对于VR影像的认识也是非常浅薄的,它没有那么简单。

好了,那这一期就到这里了,后续会继续更深入讨论有关「摄影」「光学」「VR」的原理,以便我们更好地去拍摄VR影像。

我是HW君,我们下期再见。

 

(本章节完)

By HW君 @ 2023-07-17

guest
0 评论
内联反馈
查看所有评论