文章索引
文 | HW君
本文为B站【V5】期的视频讲稿。
用Mistika Boutique拼接和剪辑VR180视频，搭配GoPro11+Max镜头【双目VR摄影#V5】
0. 用Mistika手动拼接VR180
目前市面上可以拍摄VR180格式的双目相机数量稀少，且非常昂贵，大多都不适合普通消费者。
因此采用2台相机并排拍摄，后期再手动拼接成VR180格式，在当下是一件性价比很高的事情。
我们可以灵活选择不同机身和镜头，搭配出不同的双目相机，以适应不同的使用场景。
也正因为在这一过程中走了许多弯路，所以反而让我对于「双目VR影像」有了更深入的理解。
消失的模因，大家好，我是HW君。
欢迎来到【V5】期，也就是「双目VR摄影」系列的第5期。
【V系列】狭义上讨论的话题是，如何拍摄与制作「VR影像」。
广义上探讨的则是「摄影」「光学」「VR」这三个学科的交叉地带。
前面几期我们梳理了「双目VR影像」的基础原理，那这一期我会演示如何使用Mistika Boutique这款剪辑软件来制作VR180影像。
因为有很多问题，只有在实际上手之后才能发现。
动手实践一下，才能更好地理解这些原理。
首先说说我自己使用的双目相机方案。
有两套，一套是索尼A6400机身+美科6.5mm鱼眼镜头。
另一套是GoPro11+Max镜头。
这一期我会先用GoPro这一套，带大家简单上手一遍Mistika Boutique。
下一期我们再用A6400那一套，探讨一些更加深入的原理。
我会尽量把必要的流程都演示一下，但其实我并不是专业的摄影师，在剪辑软件这一块都是现学现用，也只会几个简单的功能。
许多操作未必就是合理的。
不过我认为剪辑VR180视频的门槛其实并不是很高，只是国内缺少相关的分享而已。
我用来拼接和制作VR180视频的软件是Mistika Boutique。
这里说说为什么要用这个软件。
第一个是它对VR180格式有更好的支持。
我平时制作B站普通视频用的是Premiere，而PR对VR180格式的支持很差，部分重要功能缺失。
而达芬奇软件，则可以用第三方插件来剪辑VR180，但挑选和学习这些插件其实也是有点麻烦的。
而Mistika则原生集成了一整套制作VR180的方案，开箱即用。
第二个原因是免费。
Mistika Boutique的教育版是免费的，所有人都可以申请。
虽然教育版可以输出的视频格式受限，最高只有ProRes LT。
但对于在PICO上播放的VR180视频来说，输出H265-8bits-420的格式其实就是够用的了。
除此之外，教育版并没有分辨率上的限制，理论上你也可以用它来输出32K分辨率的视频。
第三个原因是它对电脑配置要求比较低。
我自己用的电脑配置如下，有一个台式机和一个笔记本。
虽然不能说可以流畅剪辑吧，但至少它们是剪得动的，也能输出8K的成片。
Mistika的优化非常好，同一配置下用PR那就真的是卡到怀疑人生。
基于以上这几个原因，我会建议使用Mistika来剪辑VR180视频。
Mistika的软件逻辑比较特别，和传统剪辑软件不太相同，可能刚上手的时候会非常不习惯。
但它的逻辑其实是更科学更合理的，稍微熟悉之后你会发现它在设计上的巧妙。
那我会将Mistika Boutique教育版的申请方式放在视频下方简介里。
B站上也有其他UP主做了Mistika的入门教程，不过他们的侧重点是在调色上。
那软件的申请和安装过程我就不演示了，大家可以查看其他教程。
接下来我主要会演示一下拼接和剪辑VR180视频的流程。
那么前言就先到这里，我们开始正片。
1. GoPro11+Max镜头方案
那在开始之前我们先看一下相机方案。
这里我用的双目相机是GoPro11+Max镜头。
GoPro11mini也行，但推荐使用普通的11，因为有屏幕会更容易实时监看和更改参数。
然后需要安装Max镜头，理论上第三方的也行，但我没有测试过，这里使用的是官方的Max镜头。
将2个Gopro如图所示水平并排安装，镜头中心的距离为你的瞳距。
像我自己的瞳距是68mm，因此我将摄距设置为68mm，这样拍出来的画面符合我自己的观感。
这个形态下，排摄距可以最小到52mm，当然将其中一个倒置，可以做到极限的36mm。
在固定方式上，我先用优篮子的电池侧盖，扩展出一个冷靴口，然后接上小隼的F22公冷靴快装板+底座，再安装到长条的快装板上。
这样既可以保持固定，也可以快速拆下来充电、更换电池、拷贝数据。
记得保持两个相机尽可能地水平并列，然后把所有东西都拧紧固定好。
然后我们再看GoPro上的设置。
首先虽然我们使用了Max镜头，但并不开启Max镜头模式。
我常用的拍摄格式有2个，一个是5.3K-8:7-30帧，另一个是5.3K-16:9-60帧。
第一个能得到一个完整的180°圆，但只有30帧。
第二个可以有60帧，但左右视角会被裁切。
GoPro11加Max镜头后不开启Max镜头模式，就可以得到这种视场角，而之前的GoPro10就不行。
其它的设置大概如下，基本上都尽量采用手动，以让两个GoPro保持相同的曝光和白平衡，并关掉防抖。
在确定两个相机的参数一致之后，同时按下快门开始录制。
此时我会习惯在相机前拍几下手，方便后期对齐时间轴。
这样我们就得到了一套双目素材，将其拷贝到电脑。
这里8:7-30帧和16:9-60帧的格式我都各录了一段。
1.1 配置预设与导入素材
将素材整理好，记得区分好左眼和右眼。
然后我们按照视频简介链接的教程申请教育版的Mistika Boutique，并下载安装。
在开始之前，我们先打开Mistika Config Tool，修改一下设置。
这里说一下我的常用设置。
首先我会在General里选择FactotyPreset_VR_8192x4096这个工程预设，载入设置。
然后点击Master Formats，查看并确认当前的帧率是59，然后回到General，点击工程预设，
选择New新建，输入预设名称8192x4096_59P，点击Create preset创建。
那么我们就有了一个8K59帧的预设。
然后我们再点击预设，选择New新建，输入预设名称8192x4096_29P，点击Create preset创建。
然后点击Master Formats，将帧率设置为29，然后点击Save selected preset，将改动保存到8192X4096_29P的预设里。
于是这样我们就有了两个常用预设，分别是8K29帧和8K59帧。
这里之所以要用29帧和59帧，因为GoPro拍的素材严格来说其实是29帧和59帧。
因此剪辑GoPro的5.3K-8:7-30帧的素材就用29的预设，剪辑5.3K-16:9-60帧的素材就用59的预设，要严格对应好。
并且这里我统一使用8192×4096的分辨率，可以尽量保留原始素材的画质。
你也可以使用其它的分辨率，但后续有些设置参数要做调整。
配置好预设之后，我们打开Mistika Boutique，点击project，新建一个工程，确定你的工程设置没问题，点击OK，输入工程名字完成新建。
然后这里的路径就是你当前工程的保存路径。
然后我习惯点击左下角添加一个窗口，先点击选中右边的窗口，然后展开左边的文件路径树，定位到你的素材存储位置，找到拍摄的素材。
可以直接把素材拖进时间线进行导入，点击Link As Progressive Sequence，也就是链接为逐行序列。
此时左边的工程文件夹下就新增了这个素材的链接。
如果要添加多个文件，一般我会选择素材文件夹，单机右键Import，选择Import All Media
导入所有素材。
然后在工程窗口里，选择素材的链接，将其拖动到时间线上。
左眼和右眼的素材都要进行导入。
然后关闭媒体管理器。
好，现在我们先看一下主时间线面板。
左键可以框选，右键可以拖动，滚轮可以缩放。
白色指针是起始时间，红色的指针是播放头，可以从当前位置播放。
最上面的状态栏可以看到PROJECT工程名称，TIMELINE时间线名称，工程设置和文件保存地址。
可以看到时间线名称还是unnamed未命名，所以我们先保存一下。
按住CTRL+S保存当前时间线，保存之后上面的TIMELINE就变成了你保存的名称。
那在下方Setup设置这里也有Auto Save自动保存功能，我一般会关掉然后手动保存。
这主要是因为我电脑配置低，有时候剪辑一半时后台自动保存，软件会变得很卡。
其他的设置大家可以参照研究一下，有很多功能还是挺实用的，但因为我电脑的配置比较低所以就没有开启。
2. 拼接VR180素材
现在我们开始剪辑。
这里先看第1套素材，1L表示左眼，2R表示右眼，都是5.3K-8:7-30帧的格式。
我们先双击1L的左眼素材点进去，先把左下角的3D选项关掉，这就是左眼的GoPro拍的原始素材。
在这里可以对素材进行修改，例如点击下面的Transform变换，在Roll这里输入90，也就是旋转90°。
也可以更改缩放方式，这里默认是将源素材Pad to fit等比例缩放到8192×4096的大小。
不过一般我不会在这里对素材进行修改，我们把设置恢复原样，然后点击右下角的back，回到主时间线上。
我们选择左眼的素材，选择下方的FX，点击右下角的Framing，为素材添加一个调整图层，我们在这个Framing图层上来对素材进行操作。
双击Framing，Roll选项输入90，让图像旋转90°摆正。
然后对右眼素材也同样操作，添加一个Framing然后旋转90°摆正。
那用调整图层的好处是，不会破坏原始素材，并且如果我们有多个素材，就不用一个个去调整。
例如我这里有多份素材，如果想要将这个调整应用到后面的素材，只需要在Framing上，按住鼠标右键，向右拖动，然后同时按住左键再次拖动，此时Framing图层就可以拓展到其他素材上。
回到刚才的操作上。
将红色指针放到原始素材上，可以在右下角的监视器里看见原始素材是歪的，但是放到Framing图层上，就摆正了。
双击监视器全屏显示，滚轮进行缩放，右键进行拖动，再次双击退出全屏。
当然预览素材是很卡的，因此大部分时候我都把红色时间头放在时间线下方，这样编辑素材时就不会进行实时预览。
需要预览的时候再手动把红色时间头放在素材上。
这是Mistika相对于其他软件的一些好用的优化。
现在我们回到两个摆正后的素材。
有时候这些素材没有对齐，那我们左键框选一下，点击Align向左对齐。
然后框选对齐后的全部素材，点击FX选项卡的左边的VR Stich，对素材进行拼接缝合。
点击VR Stich图层，确认图层有覆盖到下面的所有素材。
然后双击进入VR Stich图层
进来之后，首先点击左下角的3D按钮，开启3D视图并选择SBS VR180，也就是3D左右格式的VR180。
然后点击中间的Add Camera添加一个相机，此时左下角的选项卡里就有2个输入相机。
点击Input Camera 1展开选项，在Stereo Eye这里旋转Left左眼。
然后点击Input Camera 2展开选项，鼠标右键拖动面板向上滑，找到第2个相机的Stereo Eye选择Right右眼。
然后我们再展开Camera Defaults相机预设，在Focal Length相机焦距里输入6.1，在Fisheye F鱼眼系数里输入-0.66。
于是此时VR180的图像就初步成型了。
那6.1和-0.66这个参数，是GoPro11+Max镜头拍5.3K-8:7-30帧后，用在8192*4096分辨率上的。
当然我并不能保证这两个参数就一定是正确的，只能说还算够用。
你可以试着自己对其进行调整，观察有什么效果。
那这一期不展开这些理论，而只是先熟悉一遍剪辑软件。
后面我们会用A6400+美科6.5mm鱼眼镜头为例，再详细讲解一下如何确定这两个参数。
3. VR180的后期校正
刚才已经对两个视频进行初步的左右拼接和鱼眼展开，接下来要做一些校正。
还记得我们在录素材时，开头会拍一下手吗。
拖动进度条，找到拍手的那一瞬间。
点击播放按钮的逐帧播放，可以看到，此时左眼的双手合并了，而右眼还没有拍上。
再过了4帧之后，右眼的双手才合并。
也就是说，右眼画面落后了左眼4帧。
我们先点击右边的back回到主时间线。
选中右眼素材，点选Active为绿色标识，也就是选中素材。
再点击下方的Move按钮，向左点4次，也就是将右眼素材向左移动4帧。
此时再双击VR Stich进入VR180图层，拖动时间线到刚才拍手的部分，逐帧预览。
可以看见此时的左右眼画面已经同步。
现在我们可以尝试先在VR眼镜里预览一下当前的画面。
点击左下角的这个戴着VR眼镜的人头，会弹出一个链接，记住这个链接。
然后我们在PICO里安装DeoVR这个软件。
我是用SideQuest下载安装的，有的朋友可能不知道怎么下载。
那我在视频简介里也提供了一个DeoVR的APK安装包，大家下载后拷贝进PICO里可以直接安装。
安装后在资源库的未知来源里打开。
在上方地址栏里输入刚才Mistika弹出的那个网址，载入。
于是我们就能预览当前Mistika时间线上的画面。
拖动时间线，实时画面会在VR里显示。
也可以直接播放，但实时播放对电脑配置的要求会比较高。
那这也是我建议使用Mistika来剪辑VR180的原因，我们能够非常方便地在VR眼镜里预览最终成片的画面。
因为只有戴上VR眼镜观看，我们才会发现，画面怎么这么晕。
造成眩晕的原因有很多，那在这里其实绝大多数情况是因为左右两个相机的物理安装位置发生偏移导致的。
像着2个GoPro的安装方式其实非常随意，并没有严格保证水平并列。
首先它们在空间的3个平移轴上都可能有偏移。
然后在3个旋转轴的方向上也可能会有偏移，不再一个水平面上。
并且这种偏移很随机，我们每次拆卸安装之后，都有可能改变偏移量。
例如我们可以在图上的中间部分，看到两个Max镜头。
左边是左眼看到的右镜头，右边是右相机看到的左镜头。
如果GoPro的安装位置是完美的，那么这两个镜头理论上是一样大的才对。
它们应该是对称的，而这里显然不是对称的。
但好在人眼具有一定的适应性，有时候可以忽略一些轻微的偏移。
但偏移过头的话是会造成眩晕和头疼的，所以还是尽量要前期就保证相机水平对齐。
那这种室外场景的VR180，其实是可以进行小幅度的后期校正的。
我们将3D视图选项，切换到B&W A naglyph黑白浮雕模式。
该模式下左眼看到青色，右眼看到洋红，两种图案叠加。
此时我们就可以在显示器上对图像的视差进行分析，以判断让人产生眩晕的问题所在。
我们在【V1】里说过，在20PPD的显示里，70米以外是没有视差的。
70米大概多远呢？想象一个400米标准跑道，它中间的足球场的宽度差不多就是70米。
那这个塔与我们的距离显然超过70米，因此理论上它是没有视差的，但是在图里却有视差，并且不仅有水平视差，也有垂直视差。
那我们可以对其进行校正。
这里我保持右眼不动，只动左眼。
并且只调整左眼的3个旋转轴。
因为鱼眼镜头所拍的是球面图像，图像绕节点旋转是不会引入视差的。
因此理想情况下只动这3个轴是不会给画面引入畸变的。
那关于鱼眼镜头的理论可以看【V2】期，关于镜头节点的内容可以看【V3】期。
在后续视频我会更详细地展开校正VR180视频的思路，这一期先过一下剪辑软件。
调整这三个参数，消除这个塔的视差。
当然这种校正是不完美的，校正后可以看到边缘远处的这个塔也存在着视差。
而理论上边缘处的这个塔也应该是没有视差的。
那造成这一问题的原因非常多样，分析起来非常麻烦。
主要还是前期拍摄时相机位置没有严格对齐。
事实上这一片设置全部都是用来校正画面。
但我的看法是，不会校正就不要乱校正，乱校正只会引入更多的畸变，破坏画面的原有的透视关系和深度信息。
我们在【V3】期里说过，观看VR180视频的正确方式是尽量头部不动，然后转动眼球。
因为转动头部会导致边缘位置的深度信息出错。
因此哪怕你对着显示器把边缘的图像校正好了，在VR里一转头，边缘的画面也是失真的。
边缘的深度信息是校准不回来的，乱校正只会破坏中央画面原本正确的深度信息。
我有很多次在「PICO视频」里，点进PICO官方上架的那些VR180视频，一进去就晕得厉害。
很多VR180视频要么是完全没有做校正，要么就是乱调整。
一个会让我产生强烈3D眩晕的视频，哪怕它的单眼画面有多精美，内容多有创意，我都会直接退出。
我觉得VR180视频的制作者，不能去伤害观众的眼睛。
回到Mistika里。
因此我一般前期尽量保证双目相机对齐，然后在后期只关注中央远处物体的视差，确保这一块没有问题就行。
其它地方能不动就不动，动得越多越违和。
理论上前期的拍摄只要足够完美，那么后期其实只需要对左右画面进行鱼眼展开就行。
然后在观看时保持头部不动，眼球转动。
此时深度信息就都是正确的。
在修正中央远处的视差之后，我们再切回SBS VR180的视图，可以看到修正之后，中间的这个鱼眼部分也稍微对称了一点。
当然这个部分不能成为依据，最重要的还是用VR眼镜进行实时观看，尽量不要让人产生3D眩晕。
但这种校准方法是有局限性的，那就是参照物的保险距离是70米，且要在中央区域。
如果是室内拍摄就没有这种70米远的参照物。
室内拍摄时，如果有窗户，我会在拍摄前先对着窗外远处的物体先拍一小段，方便后期做校正。
只要中途没有拆装过相机，那么在拍摄的过程中都可以使用同一个校正参数。
如果没有窗户，那我会用中间区域拍一个水平的物体，例如电视，电脑屏幕，屋檐，门框之类的，以此为依据校正垂直视差。
虽然无法校正水平视差，但是可以校正掉垂直视差就可以减少大部分不适感。
那说到底这主要是因为GoPro的固定方式不是很牢固。
因此我拍得更多的是用A6400+美科6.5鱼眼镜头，它在更换电池和存储卡时是不用拆卸的。
我可以对照着画面给相机的位置做校正，校正之后把螺丝拧紧锁死，后续基本不会发生偏移，就算偏移也不会太离谱。
而GoPro的这种固定方式只依靠底部一个支点，并不稳固，所以无法精细校正。
那如果有厂商能做第三方固定的配件，或者有朋友会3D打印，能做微调并锁定的夹具之类的，并且不影响更换充电或更换电池，那就方便多了，不用后期每次都进行随机调整。
但目前对我来说就只能妥协。
3.1 渲染输出
校正好VR180图像，在VR眼镜里确认无误之后，我们点击右下角的back回到主时间线，准备渲染导出。
在导出前，先做一下必要的剪辑。
在Active选择红色时间头模式，然后把时间头放在你想剪辑的地方，然后点击Split进行剪辑。
这里我只剪掉素材不能同步的部分，你也可以根据内容剪辑自己想要的片段。
剪辑完成后，我们框选要渲染的部分，点击Edit Marks的黄色括号，将其框选。
选择Output选项卡，点击Vedio的设置按钮，在Stereo mode立体模式里选择Side By Side VR180模式，其余设置维持默认。
当然你可以在Path路径这里把输出文件夹改为User defined用户自定义，然后指定你想要输出到哪个文件夹。
我这里用默认的路径，然后点击OK。
然后输出模式选择MP4 NVidia movie和HEVC 420 8bits Bitrate。
也就是英伟达显卡的H265编码。
右边的Bitrate比特率默认是85M， 更改这个码率会影响画质，要清晰的话就调大一点，我习惯导出为150M，这样画质比较高，但建议拷贝进机器或者插U盘 观看，在线看可能会有卡顿。
当然也可以降一点画质，用85M的话， PICO可以直接在文件管理器里，用内网流畅地在线播放。
然后点击开启下面的Audio音频，默认in movie嵌入视频里就行。
在右边的Render Name里，填入你的渲染视频文件名。
最后点击右下角的foreground进行前台渲染。
可以看到渲染的速度是很快的，因为用的是英伟达的硬件编码，我用的是N卡所以导出时有硬件加速。
渲染结束后在默认输出路径里可以找到渲染的VR180视频。
我们打开确认一下格式，8192*4096-29帧，左右格式。
确认无误，然后拷贝进PICO里进行观看。
那么制作VR180视频的流程也就结束了。
4. 对60帧素材的处理
那刚才处理的是5.3K-8:7-30帧，而我用GoPro其实拍的更多的是5.3K-16:9-60帧的视频。
前者的分辨率是5312*4648，后者是5312*2988，因此处理步骤不太一样。
我们看一下16:9-60帧的素材要怎么处理。
当然GoPro的60帧实际上是59帧。
我们回到刚才的那个工程文件
取消Edit Marks的黄色框，渲染之后的视频会作为一个图层放置到素材上面，一般我会直接删掉这个图层。
记得先保存一下，然后退出Mistika。
打开mistika config tool，将预设切换到8192*4096-59帧。
然后重新打开刚才的工程。
右边这两段是开头就已经d导入的59帧的GoPro素材，一个是左眼，一个是右眼。
我们把刚才的2个Framing和1个VR Stich，这三个调整图层都复制一份，然后直接拖动到右边的素材上。
先在图层上拖动右键到图层外，保持右键按住不动，再按住左键拖动，调整图层的大小。
然后双击进入VR Stich图层，会发现VR180画面出现奇怪的扭曲。
这是因为原始素材的分辨率是不同的。
一个分辨率是5312*4648，一个是5312*2988，它们缩放到8192*4096之后大小不一样。
我们分别点开源素材。
这是8:7缩放后的结果，这是16:9缩放后的结果。
因此处理16:9的59帧的素材，我们需要在Framing里再多加一步。
我们点击左眼的Framing，在右下角的Scale Y里把Y轴缩放为2519，注意后面要锁定比例。
那2519这个数字大家有兴趣的话可以自己计算一下，这里就不展开了。
此时我们就把16:9的素材的圆的直径，缩放到和8:7的圆的直径相同。
那么后续的VR Stich图层就可以使用相同的参数设置。
我们点击进入VR Stich图层，可以看到出现了正常的VR180画面。
不过因为16:9裁切了两边的视角，所以两边会有比较大的黑边。
那到这里我们需要重新操作上面的步骤。
首先进行时间同步，可以看到右眼慢了2帧。
回到主时间线，选择右眼素材，将Active切换回绿色素材图标，然后点击Move向左前进2帧。
回到VR Stich图层，逐帧确认时间同步无误。
然后我们再校准视差，那我这里用的还是刚才的拍8:7-30帧时的校正参数。
因为在拍这两段素材的时候，中途我并没有拆卸安装相机，所以可以直接套用。
如果有拆卸过相机，那么可能会需要重新校正。
然后回到主时间线，将无法对齐的素材减掉，最后再选中渲染输出就行了。
可以看到8192*4096-59帧的VR180视频要流畅得非常多。
如果要导出29帧的视频，那么记得要在Mistika Config Tool里将设置改回29帧。
5. 结语
那这一期主要就是简单的上手Mistika Boutique这个软件。
Mistika的软件逻辑比较特别，但也非常合理和科学，大大降低了普通人的制作VR180视频的门槛。
最重要的是它提供了很方便的校准工具，可以尽量避免前期制作上导致的3D眩晕。
每次我在「PICO视频」里点进去一个不合理的VR180视频，都会觉得头疼，字面意义上晕3D导致的头疼。
那GoPro11+Max镜头的这套双目相机方案，摄距可以从52mm到无穷大，可以匹配大多数人的瞳距。
分辨率也可以展开到8192*4096，因为它的中央画质的确能吃满这个像素。
而稍微牺牲一部分左右的视角，也能获得60帧的流畅画面。
可能在未来相当长的一段时间里，这一套都会是性价比较高的，适合多数人的双目相机。
但它也有一些缺点，首先是运动相机不稳定，容易过热和死机，手动调节曝光的选项也比较少。
并且暗光环境下画质会下降得非常厉害，光线稍微差一点就很糊，因此也完全没有办法进行夜拍。
所以很多场景下我会使用A6400机身+美科6.5mm鱼眼镜头这一套方案。
那下一期我会结合A6400这一套相机，更深入地来讲一下对VR180的理解。
当然，只要理解了那些参数的意义，理论上你可以组合出任意的相机来拍摄VR180视频。
这一期所使用到的GoPro素材，导出的VR180样片，以及PICO版DeoVR的APK安装包，我都上传到视频简介的网盘里了，有需要的朋友可以自行下载。
那这一期就先到这里了。
我是HW君，我们下期再见。
（本章节完）
By HW君 @ 2023-05-22