文章索引
文 | HW君
本文为B站【V7】期的视频讲稿。
如何对3D影像进行视差分析？从双目相机的帧同步问题说起【双目VR摄影#V7】
0. 3D影像的视差分析
个人DIY双目相机用于拍摄3D影像，会有一个难以解决的问题，那就是无法保证左右画面的时间同步。
这种左右帧的时间不同步，会造成各式各样的视差错误，干扰人们对于深度的感知，最终导致观影时的眩晕。
消失的模因，大家好，我是HW君。
欢迎来到【V7】期，也就是「双目VR摄影」系列的第7期。
【V系列】狭义上讨论的话题是，如何拍摄与制作「VR影像」。
广义上探讨的则是「摄影」「光学」「VR」这三个学科的交叉地带。
在前面2期，我们介绍了2套DIY的双目相机方案，然后提到在DIY里有一个无法解决的问题，那就是左右相机画面的帧同步。
所以这一期我们主要先从双目相机的「帧同步」问题说起，谈谈如何对「3D影像」进行基础的视差分析。
1. 左右帧的时间同步
在上一期我们说普通玩家DIY的双目相机，帧同步问题是无法完美解决的，只能尽量去缓解。
评论区有很多朋友没有理解问题的关键是什么，很多人都说用时码器来同步就好了。
如果只是想要后期对齐左右两帧画面，其实是非常容易的，根本用不到时码器。
我们在【V5】期里讲用Mistika拼接V180视频时，提到过在录制前会先拍一下手，后期只要找到拍手的那一帧，进行前后对齐就行。
甚至很多时候不需要特意拍手，随便录制，后期也可以很容易地进行手动逐帧对齐。
但这种方式只是在后期对齐时间轴，而我们需要的是，让左右2帧在前期拍摄时，就有绝对时间上的同步。
如何更好地理解这两者的区别呢？
我们以1秒30帧的拍摄格式为例，那么每1帧的时间大约为33ms。
为了方便计算，假设快门速度为1/1000，也就是每一帧的曝光时长为1ms。
在同时按下2个快门之后，2个相机开始录制。
但我们无法保证2个相机真的是「同时」开始录制的，哪怕连上了同一个快门线也是如此。
所以左眼和右眼的帧总会错开一个时间差。
运气最差的情况下，左眼和右眼刚好错开半帧的时间，也就是16ms。
运气最好的情况下，左眼和右眼刚好就是完美同步的，也就是0ms。
而具体错开多少时间，都是随机的，也就是每次按下，左右画面随机错开0到16ms。
那后期再将这些时间对齐有用吗？
事实上只要进了后期，它们的每一帧就都是对齐的，但这种对齐是没用的。
我们只要参考一个外部的精确时钟，就能发现问题所在。
假设运气不好，右眼画面每帧都落后了左眼10ms，然后我们把所有曝光节点的绝对时间都列出来。
可以看到，右眼的所有曝光节点都会比左眼慢了10ms。
哪怕我们后期会把2条时间轴对齐，但这种前期的时间差是没有办法被改变的。
因为对于一个快速运动的物体来说，在10ms的时间里，物体的位置已经移动了一段距离。
在1ms时刻左眼看到的画面，和在11ms时刻右眼看到的画面，无法构成一组拥有正确双目视差的「立体像对」，因为物体的空间位置已经发生了改变。
所以这种前期的时间延迟是不可忽视的，也无法进行后期的调整。
1.1 水平视差错误
双目相机是模拟人眼水平并列放置的，所以「3D影像」中的「视差」一般指是「水平视差」。
在【V1】期里我们有展示过这一机制。
我们将两只手指放在正前方，A近B远，大概在距离人眼20cm和40cm的位置。
如果闭上一只眼睛，只用单眼观看，那么无论在左眼还是右眼看来，A都没有遮挡住B。
而在双眼立体成像之后，我们能感觉到A比B更靠近我们。
这是因为人眼的「双目汇聚」和「双目视差」机制具有空间测距功能。
双眼「对差」到近处的A时，远处的B成「散像」。
双眼「对差」到远处的B时，近处的A成「错像」。
大脑对于双像的分散和交错程度进行分析之后，可以得到各个物体的深度。
对这一机制还不熟悉的朋友，可以回看【V1】期。
我们再看一下拍摄3D影像时的情况。
假设距离双目相机正前方的1米处有一个小球， 2 米处有一面墙。
因为左右相机的空间位置不同，所以拍下来的3D影像左右两幅画面之间是有视差的。
我们用双眼在VR里进行观看时，两只眼睛看到不同的画面，双像融合之后，大脑可以感受到小球在墙的前面，离人更近。
当然这是小球静止的情况，而运动起来的话情况也类似，假设小球从左往右匀速运动。
相机以1秒30帧的格式记录，即每帧33ms，快门为1/1000也就是曝光时间为1ms。
当小球从左往右匀速运动时，在每一时刻的每一个位置，都有左眼和右眼各自记录一帧画面，这样的左右两帧就构成一组具有「双目视差」的「立体像对」。
我们后期用VR进行观看的时候，在每一帧都会感觉到小球在墙壁之前。
但假设双目相机的的左右帧之间有延迟呢？
这里的延迟不仅仅要考虑左右相机之间的时间延迟，也需要考虑快门速度，以及移动物体相对于相机的角速度。
如果延迟的情况非常严重，那么人眼可能会很难将其融合为一个立体的单像，而是分解为有残影的双像。
但很多时候并没有严重到分裂为残影的地步，而是会造成某种奇怪的深度感知异常。
我们假设两个相机之间没有帧同步，右眼的每一帧相对于左眼都有10ms的延迟。
而小球的运动轨迹很快，所以10ms内小球的位置已经向右移动了一小段距离。
将左眼相机拍到的小球是标记为青色，右眼则标记为洋红，如图所示即为每帧画面。
每个右眼画面的洋红小球都落后了左眼青色小球10ms。
这样洋红小球就没有办法和青色小球共同构成一组「立体像对」，因为小球位置发生了改变。
此时拍下来的3D影像就是错误的，后期用VR眼镜进行观看时，小球的深度会发生改变。
原本在1米处的小球，现在看起来像是距离有3米，落在了2米的墙壁后面。
于是这种在双目显示器里才会出现的深度冲突就产生了。
而如果右眼提前了左眼10ms，那么右眼看到的小球会落到左眼的小球的左边。
此时在VR眼镜里观看时，我们会发现原本1米处的小球，看起来像是在0.5米的位置。
离人眼更近了。
虽然小球仍然是在墙壁之前的，没有冲突，但这种异常的近距离也常常会引起人的警惕，让人下意识地想要躲闪。
刚才列举的2个场景，小球的运动是匀速的，但如果它是变速运动的，那情况又会不同。
如果小球的运动速度不是均匀的，那么叠加上左右眼之间的延时，不同「立体像对」的小球的深度就都是不同的。
在VR里观看的时候，我们可能会觉得小球的深度是变来变去的，有时候落在了更远的墙壁之后，有时候又突然跳到了贴脸的位置。
双眼在面对这种情况是很难进行「对差」的，会造成严重的眩晕感。
我们在【V系列】每期视频分享样片的，那个网盘链接里的「第2次更新」文件夹里，有一个VR180视频叫「紫荆的大道」，拍摄的是广州越秀公园门口的那条种着紫荆的路。
这个VR180视频就是用索尼A6400的30帧格式拍摄的，左右眼之间会有随机的帧不同步。
在这个视频场景里有非常多横向移动的车流，所以就非常容易出现上面提到的「水平视差错误」。
例如在这个机位里，中距离处的木棉树是静止的，哪怕是出现了很严重的帧不同步，木棉树的深度也是确定的，且是正确的。
但横向移动的车流的深度，则会因为左右帧的不同步而发生变化。
像在这个场景里，右眼相对于左眼就有一个延迟。
因此从左往右移动的近处车流，我们在观看时会感觉比中距离处的木棉树还要远。
但是从右往左移动的近处车流，则会因为右眼的延迟，看起来离人比真实距离要更近。
包括在木棉树后面更远处的车道上，从右往左移动的车辆，感觉会比木棉树要离人更近。
虽然在「单眼线索」看来，车已经被前面的木棉树遮挡住了，但「双眼线索」会告诉你，这个车的深度离人更近，这种「单眼-双眼」之间的深度冲突会令大脑感到非常困惑。
当然普通人如果不知道如何对「3D影像」做视差分析，那么他们可能得不出这些结论。
一般人在观看这样有视差错误的VR180视频时，只会觉得双眼出现对差困难，觉得这个画面看得让人头好晕。
但是3D影像的创作者还是要知道怎么分析视差，不要出现奇奇怪怪的错误，让观看者感到难受。
所以在搞清楚了这些之后，我会尽量避免这种快速横向水平运动的场景。
或者如果一定要拍这种场景，就多拍几次，因此帧的时间差是随机的，运气好就能拍到一两段延时很小，可以用的画面。
1.2 垂直视差错误
刚才讨论的是水平横向运动的情况，如果物体是沿着竖直方向运动的呢？
因为我们的双眼是水平并列的，所以正常视野内的大部分图像都是没有「垂直视差」的。
而如果左右相机无法保证帧同步，那么一些竖直方向运动物体的垂直视差就是无法避免的。
例如篮球运动，篮球会在竖直方向快速移动。
我在网盘第2次更新的《周末的运动》这一段VR180视频里，就有一段小朋友们打篮球的场景。
因为机位是固定的，所以大范围静态场景的垂直视差是没有问题的，但是这些垂直弹跳的篮球就因为帧不同步，出现了很明显的视差。
这不仅让人觉得画面很卡顿，还让人感觉整个画面非常凌乱，眼睛不知道要往何处去注视。
不过这种大场景静止，小物体运动的情况还比较好。
如果画面中有大范围的场景出现不应该存在的垂直视差，那么后果就是灾难性的。
在【V5】期里我们提到一款VR视频播放软件DeoVR，它的画质调节选项里有一个叫Vertical Offset，调节它的话可以为左右眼画面增加一个垂直视差。
大家可以试试调节一下这个选项，给画面增加一个较大的垂直视差，然后就会发现自己的眼睛压力升高，头晕恶心，非常难受。
因为我们人眼并不会出现这种一只眼睛看上面，一只眼睛看下面的情况。
所以在3D摄影里，一定要避免出现这种大范围的垂直视差。
像那些传统的双眼光学仪器，例如双筒望远镜，会要求两眼的视轴在垂直方向的夹角不能超过10分，也就是1/6度，不然会导致使用者眩晕。
可见人眼对于垂直视差非常敏感。
因此在【V5】期里讲VR180的校准思路时，我们说要以中央无穷远的物体为参考。
中央无穷远的物体既没有水平视差，也没有垂直视差。
尽量优先校准中央部分的垂直视差，这样可以消除大部分恶心眩晕感。
而除了双目相机的两个光轴没有水平之外，左右画面使用了不同的放大倍率也会导致大面积的垂直视差。
例如【V6】期讲的PICO大熊猫直播，其实就是左右的美科6-11mm变焦鱼眼镜头被拧到了不同的焦段，而后期的鱼眼解算又没有跟着调整缩放，所以导致出现了大面积的垂直视差，令人恶心眩晕。
总之我们要保证双目相机的左右2个画面的一致性，不然最终的3D影像出现错误的垂直视差，就会伤害观看者的眼睛。
2. 缓解帧不同步
所以上一期【V6】期里，很多朋友说可以用时码器来解决帧同步的问题，实际上是不行的。
因为时码器并不改变相机的内部时钟，而只是为相机的每一帧都添加一个额外的标记数据，方便后期进行时间轴对齐。
如果要实现前期的时间同步，那么专业的摄影机上一般会有「同步锁相」Genlock功能。
一般是用一个外部的同步信号发生器，同时为多台摄影机发送一个作为基准的精确时钟，然后每台摄影机都按照这个外部时钟来录制每一帧。
这样就可以在前期就达成精确的帧同步。
但这种功能一般只有那些大块头的专业摄影机才会有，消费级的相机不太可能有这个功能。
而就算采用这种大块头的专业摄影机，那么摄距也会变得非常大。
我们在【V3】期里有讨论过，如果摄距太大，也会造成深度感知异常。
所以我会期待有更多专业的VR180相机出现，而目前在DIY的时候我们只能尽量去改善这个问题。
2.1 提高帧率和降低快门
例如这套A6400最高只能拍4K30帧，因此每一次按下快门都是随机有0ms-16ms的延迟，所以我会习惯每录1分钟就暂停保存一下，再接着继续录。
这样多碰一下运气，就总有一些素材是能用的。
如果其他相机能拍60帧，那么帧同步的问题也可以得到一些缓解。
因为拍60帧时，每次按下快门会随机出现0ms-8ms的延迟，这个延迟只是30帧一半。
像【V5】期里用GoPro11+Max镜头就可以拍60帧的VR180，不过尽管如此，运气不好时这个延迟仍然是可以被感知的。
我也看过一些其他人拍的60帧的VR180视频，只要遇到高速移动的物体，也经常能发现帧不同步的问题。
而除了提高帧率之外，我们也可以尝试降低快门速度，增加每帧的曝光时间。
例如在拍30帧时，把快门降低到1/30，此时每帧的曝光时间是33ms，和单帧的时间相同。
虽然左右帧之间仍然有时间差，但它们会有比较大的重叠区域。
反映到画面上就是会有比较大的运动模糊，这些运动模糊可以稍微缓解一些帧不同步的问题。
像网盘第2次更新的《小镇的夜市》这个VR180视频，因为是晚上低光夜拍，所以我把快门速度设置在1/30-1/60之间，这样提高了单帧的曝光时间，增大了动态模糊。
可以看到暂停时运动画面会有点拖影，但因为左右帧之间的拖影会有比较大的重叠区域，因此这种运动模糊可以在一定程度上缓解帧不同步的问题。
2.2滚动快门效应
我们在【V6】期里说过，A6400的4K25帧的滚动快门效应非常严重，会加剧帧不同步的问题，所以更推荐拍4K30帧，虽然30帧时也很严重，但要比25帧好。
那么什么是滚动快门效应呢？它一般也叫做果冻效应。
简单来说就是，使用「滚动快门」的相机在曝光的时候，每一帧画面是一行一行曝光的。
因此画面的第一行和最后一行会有一个曝光的时间差。
A6400在4K25帧时，第一行和最后一行的时间差是40ms。
而在4K30帧时，第一行和最后一行的时间差是31ms，会小一点，但也很严重。
也就是我们前面提到的这张「帧同步」的示意图其实是不全面的。
这里的第1ms只是左眼第一行的曝光时间，左眼最后一行的曝光时间其实是在第31ms。
而两个A6400并不是同向放置的，而是将底部靠在一起，2片CMOS的方向是不同的。
所以左边的画面是从左到右逐行曝光，而右边的画面是从右到左逐行曝光。
因此即使我们有办法让两个相机从同一时刻开始录制，因为滚动快门效应的存在，A6400的这套方案也只有在画面的正中间是同步的，而画面的左边和右边全都是不同步的，不同步的程度从中间向左右两边递增。
如果再加上初始录制时间的延迟，那么情况就会变得非常复杂。
所以A6400的帧不同步问题，受到滚动快门效应的影响非常大。
我经常会发现画面的某一个区域是同步的，而另一个区域就是不同步的，几乎呈现出一种完全随机的情况。
像我在网盘第2次更新的《周末的运动》里有一个踢足球的场景，有一段原本是一镜到底的。
足球在左边的时候左右帧是同步的，而球传到右边的半场时，右眼差不多快落后了一帧时间，左右帧完全同步不上，画面出现扭曲感。
但因为刚好落后差不多一帧，所以还有补救方法。
当球传到中场的时候，我把左眼画面其中的一帧复制了2份，就刚好可以抵消掉右眼的延迟，这样球传到右边半场时，左右两帧就还是同步的。
那这种因为CMOS读取方向不同造成的帧不同步的问题，其实在专业的VR180相机上基本上不会存在，因为一般不会这样以不同的方向去摆放CMOS。
我们在DIY里这样摆放其实是为了缩小摄距而不得已为之。
但对于高速运动的物体，滚动快门效应仍然是无法忽视的，在一些体育运动的场景里，还是会很容易造成深度感知异常，因为「双目视差」的测距精度是非常高的。
因此如果为了达到最好的效果，高端的VR180相机应该使用「全域快门」的CMOS，它可以对整个画面进行同时曝光，而不是使用逐行读出的「滚动快门」的CMOS。
3. VR180相机的现状
讲了这么多，我们会发现DIY之路困难重重，有些问题普通人是解决不了的。
但目前市面上很多专业的VR180相机在这些方面也做得不好。
不久前泰科易出了一款用于直播的VR180相机，泰科易官方提供一段样片，我有下载进行观看。
那很遗憾，这段官方的样片就有很严重的帧不同步问题。
一些快速运动的画面，例如模特说话、眨眼、手指动作，都会有一些奇怪的扭曲感。
例如看这一帧，模特在说话的时候，左眼画面的嘴巴已经张开可以看到牙齿，而右眼画面的嘴巴就慢了一些，还看不到牙齿。
也就是右眼画面相对于左眼有一个时间延迟，这个延迟是可感知的。
当然这段样片是4月份机器还未开售时发布的，我不知道现在正式开售的版本里，还有没有存在帧不同步的问题。
但在它的购买链接的商品详情页里，这段样片仍然被用来作为宣传。
截止上传这期视频的时间，跟据泰科易官方的Facebook讨论组来看，正式开售的版本仍然有这个问题，但官方说后续会通过一个固件更新来解决这个问题。
除了泰科易之外，其他家的相机或多或少也会有一些问题。
PICO早期的VR直播，基本上都是用西顾视频的FM系列的相机。
这个系列的相机在大部分情况下，帧同步都是正常的。
但经常会播着播着，左右两帧突然就不同步了，持续一段时间，然后再同步回来，不是很稳定。
例如我们翻一下PICO官方制作的《德宏芒市万人狂欢泼水节第二场》这个视频，在「咫尺互动」视角的1小时48分50秒处开始，画面会突然卡一下，然后左右帧就开始不同步，右眼落后左眼，过了1分多钟才又卡一下同步回来。
另一个PICO官方制作的视频《三月街民族节之赛马大会第2期》的第1集，在14分45秒处，也是突然卡了一下，左右帧开始不同步，右眼落后于左眼，过了几十秒后才恢复同步。
注意以上我举的这两个例子，并不是我刻意去找的，而只是打开首页推送的视频，随便点点进度条，就能发现帧不同步的问题，可见它出现的频率很高。
甚至有时候我点进PICO的 VR直播间，随便翻一翻，就能发现一些直播间的左右帧不同步，可能播了半个小时都还是不同步的。
这种画面我多看2分钟就会开始头晕，而实际上这种技术问题其实是完全可以避免的。
当然刚才说的这2个VR180视频应该是西顾旧款的FM DUO拍的，也并不清楚它的新款相机有没有改善这个问题，但我还是有点怀疑这个问题没有解决好。
我们上一期【V6】期讲美科6.5mm镜头的对焦问题时，有说过西顾视频FM DREAM的官方样片，其中一个打鼓的机位，右眼就是没有对上焦的，在VR里的观看体验会不好。
但其实这个样片还有一个从左边侧面拍摄的机位，这个机位的画面我在第一次看到的时候就感觉到了怪异，所以暂停下来做一下视差分析，结果这一暂停就更加疑惑了。
这个机位的单帧画面是这样的，它竟然是有残影的。
这其实是不合理的，因为正常相机不太可能会拍出这样的一帧画面，尤其是其他机位都没有这个问题。
那我这里有一个猜测，就是这个机位的原始左右画面是帧不同步的。
然后因为帧不同步在VR里观看是违和的，所以官方后期对这个机位的每帧画面都进行了「时间插值」处理，可能用到了「帧混合」或「光流法」，所以才让这个机位的单帧出现这种残影。
但是连续播放起来的话，这种残影反而可以改善帧不同步的问题，它跟我们前面讲到的增加动态模糊的思路是相似的。
这算是一种后期对于帧不同步的补救措施。
当然这只是我的一个猜测，也有可能这里的残影并不是帧同步的问题，而是这个机位的相机拍成了30帧格式，和其他机位的50帧无法匹配，所以后期才进行插值补帧。
总之这些VR180相机的价格都很昂贵，但是哪怕官方提供的样片却能发现各种各样的问题。
而如果不是VR180，而是3D的VR360，那问题会更加严重。
例如我们在PICO视频里搜「舞者」这个关键词，然后往下拉，会看到这么几个视频。
好几个外国妹子360°围着你跳舞。
这几个视频都有非常明显因为帧不同步导致的扭曲感，深度感知异常，让人很难进行对差。
那这几个视频其实是Youtube上的VR Gorilla这个团队拍摄的，他们团队用的VR相机是Insta360 Titan和看到科技的Obsidian R。
这种360°的VR相机涉及到更多摄像头的拼接和同步，像Titan的话是8个摄像头，Obsidian R的话是6个摄像头。
那具体PICO引进的这几套视频用的是哪款相机所拍摄的，也不清楚。
但很明显这几套视频的帧同步没有做好，画面有严重的扭曲感。
我们可以看另一个例子。
Youtube上的Hugh Hou的博主，不久前发布了一段VR360的视频，他是用Insta360 Pro2拍摄的，题材和立意都挺不错的，与火共舞。
可以看出来制作得很用心，但是如果我们逐帧暂停观看，就能发现画面有帧不同步的问题，有非常多的深度错误。
当然这些深度错误不只是因为帧不同步，还有多摄像头之间的拼接不完美，都共同导致了视差上的问题。
这种深度错误严重影响了这个视频的观赏性。
这也是我至今对于VR360格式提不起兴趣的原因，它面对的问题要比VR180复杂得多，短时间内看不到有什么好的解决方案。
那Hugh Hou的《Flowing with Fire》这个视频PICO也没有引进到国内，所以我将其上传到下方的网盘链接里了，大家可以下载到本地观看。
有Quest的朋友则可以直接在Meta Quest TV里观看。
而前面提到的泰科易和西顾的相机样片，也同样有上传到网盘里了，大家可以尝试分析一下视差问题。
4. Vision Pro的3D影像
不久前Vision Pro发布之后，有很多朋友关心苹果头显的3D相机所拍摄的「空间影像」，包括「空间照片」和「空间视频」，究竟是何种形式。
它们是普通的「3D影像」，还是建模后的6DOF「体积视频」。
如果是传统的「3D影像」，那么影像的视角应该是固定的。
但Vision Pro的发布会视频里，可以看到演示画面有一个视角上的旋转，那这个视角旋转就给人们造成了困惑。
究竟是拍摄者前期就绕着小朋友转圈，才获得这个旋转效果，还是苹果对整个空间进行建模，使得我们拥有视角上的自由度。
如果是前者，那么它就只是传统的「3D影像」，苹果的宣传片用了投机取巧的方式让我们产生误导。
如果是后者，那么它就是6 DOF的「体积视频」，那这个的难度就特别大了，所以大家会关心苹果是如何去实现的。
而那些发布会过后现场体验过Vision Pro的用户，似乎也没人能说清楚这一点。当然我没有试用过，所以也只能猜测。
但如果后续大家能提前体验到Vision Pro，只要稍微进行一下视差分析，那么就很容易能够得到答案。
那么要如何区分一段VR视频，究竟是传统的「3D视频」，还是建模过的6dof「体积视频」？
其实我们在一年前的【R6】期的【2-3】小节里曾经讨论过这个问题，当然那期视频其实存在许多小错误，但是当时提到的那个方法仍然是有用的。
这个方法就是「歪头杀」。
所有传统的3D视频，我们在观看的时候要保持两眼的水平，一旦歪头，水平的双目视差会被破坏，近处融合的立体像会被分解为双像。
无论是平面3D电影，还是VR180视频，都是如此。
但是如果我们在像「轻世界」这样的实时建模渲染的场景里，我们就可以随意地歪头，而不会造成双像分解。
因此如果想要达成6DOF的自由度，那么就需要对场景进行实时渲染。
但是这里其实也有一个比较大的误解，那就是「拍摄」和「建模」并不是区分6DOF的关键，关键是在于「实时」。
因为在6DOF的「建模」场景里，3D引擎也有2个虚拟相机用来「拍摄」画面，最终总是会渲染出2幅2D的画面，交给左右2个屏幕去分开显示。
这样的2幅画面它也只是拥有水平视差，没有垂直视差。
我们能够歪头而不导致双像分解，仅仅是因为当我们歪头时，头显可以「实时」获取我们头部的姿态，从而控制3D引擎里模拟人眼水平放置的虚拟相机，跟着头部的姿态一起歪，然后捕获歪头之后的「水平视差」。
而在传统的3D视频里之所以我们歪头之后双像会分解，是因为前期拍摄的双目相机是固定水平放置的，它没有办法跟着我们的头部一起进行实时的姿态运动。
如果双目相机可以跟着我们的头部姿态一起实时运动，那么我们同样可以得到6DOF的3D视频体验，而这就是「双目VST彩色透视」的原理。
因此「双目VST」最基础的那部分还原现实场景的功能，其实完全是不需要依赖于建模的。
VR设备可以在不理解现实环境的情况下，通过VST双目相机去还原人眼看到的现实环境。
所以我们在【R7】期里说过，「双目VST」其实就是一类实时观看的VR摄影。
如果不懂「双目VR摄影」，那也么就不懂「双目VST」，它们的基础原理是一致的。
当然说得有点远了。
现阶段我们可以用「歪头杀」来区分看到的影像，是传统拍摄的3D视频，还是实时渲染的「体积视频」。
因此如果你能够提前体验到Vision Pro的「空间视频」，那只要卖个萌歪个头，看看双像是否会分解，就能分辨它是传统的「3D视频」还是6dof的「体积视频」。
当然也有一些朋友觉得苹果这次演示的「空间视频」，很像Windowed 6dof，它是介于「3D视频」和「体积视频」之间的一个小众格式。
这个格式也没有垂直视差，但在水平方向有移动视差，所以也能拥有一个有限的平移轴的自由度。
而这个格式在歪头杀时也会导致双像分解，所以要如何区分呢？
其实也不难，我们只要闭上1只眼睛，然后平移运动，看看有没有出现单眼的「移动视差」。
也就是留意在单眼观看时，移动位置之后，前后景的遮挡关系有没有变化。
如果是传统的3D视频，那么画面就不会有变化。
而如果是Windowed 6dof，那么它就会有单眼的移动视差，前后景的遮挡关系会有变化。
当然说了这么多，我自己倾向于认为Vision Pro所拍的「空间视频」就是传统的普通「3D视频」，只是发布会的那个宣传片用了投机取巧的方式让我们产生误导。
如果你后续能提前体验到Vision Pro，记得对它所拍的空间影像做一下视差分析，然后告诉我一声。
然后因为不久前朋友邀请我帮忙模仿苹果拍一段吹蜡烛的VR视频，所以我就拍了两个。
其中一个是用A6400这一套拍的VR180视频，另一个是用酷看EGO拍的平面3D视频。
这两个都有上传到网盘里了，有兴趣的朋友也可以看一下，体验一下蜡烛烟雾吹在脸上的感觉。
E. 结语
这一期主要由双目相机的「帧同步」问题，引出如何对3D影像进行基础的视差分析。
并讨论了很多VR180相机的问题。
我希望这些问题会被越来越多的人所讨论和关心，这样大家对于VR影像的认识才能有所提高。
虽然VR视频已经存在很多年了，但XR行业内普遍看不起VR影像，觉得不做6DOF就没有技术含量。
但其实整个行业对于VR影像的认识也是非常浅薄的，它没有那么简单。
好了，那这一期就到这里了，后续会继续更深入讨论有关「摄影」「光学」「VR」的原理，以便我们更好地去拍摄VR影像。
我是HW君，我们下期再见。
（本章节完）
By HW君 @ 2023-07-17