VR | #6 自制VR180双目相机的思路

 文 | HW君 

本文为B站【V6】期的视频讲稿。

自制VR180双目相机的思路,搭配索尼A6400+美科6.5mm鱼眼镜头【双目VR摄影#V6】

https://www.bilibili.com/video/BV1rh4y197ps


0. DIY双目相机的思路

理论上我们可以组合任意相机用于拍摄VR180影像。

但如果目标是让VR影像还原现实世界的观感,则有许多需要考虑的地方。

 

消失的模因,大家好,我是HW君。

欢迎来到【V6】期,也就是「双目VR摄影」系列的第6期。

【V系列】狭义上讨论的话题是,如何拍摄与制作「VR影像」。

广义上探讨的则是「摄影」「光学」「VR」这三个学科的交叉地带。

 

这一期主要是简单分享一下我自己正在使用的一套DIY的双目相机方案。

其实我并不打算花太多时间在讲解这套硬件上,因为它的泛用性并不高。

首先它不是很好用,我自己会采用这套方案也纯属偶然。

 

但现在普通消费者可选择的双目相机很少,因此我还是决定分享一下硬件思路,毕竟这套已经验证过了可行性。

后续对于VR180原理的讨论,也会基于这一套相机所拍的影像来展开。

哪怕你不打算使用相同的方案,但参考我的硬件选型过程和思路,相信也会给你带来启发。

 

 

1. 机身与镜头

首先我们从机身说起,我用的是索尼A6400。

这里用A6400纯属巧合,因为我本来就有一台用了4年的A6400,为了保证画面的统一所以就又买了一台。

 

但实际上这里的A6400更换为A6300\A6500\A6600都是可以的。

如果考虑性价比,目前3000多块钱的二手A6300,也完全可以实现相同的效果。

A6400相较于A6300的那些功能升级,在拍摄VR180时几乎都用不到。

 

得益于小巧的机身,2台A6400拼在一起之后,摄距最小是67mm。

而我的瞳距是68mm,所以在中间垫了一层1mm的防滑贴纸。

67mm的摄距还算是比较小的,如果用其他的相机机身,摄距会变得非常大。

像日本的Entaniya方案,受限于镜头支架,最小摄距是75mm,这就有点太宽了。

因此我们在看很多日式VR180作品时,会感觉近处的人物体型偏小。

而佳能双鱼眼镜头的60mm摄距又太窄了,对我来说近处的人物体型会偏大。

因此就算佳能的这套双鱼眼镜头以后降价了,我也不会考虑入手,它的摄距与我的瞳距偏差太大。

关于瞳距和摄距的内容,有兴趣的朋友可以回看【V3】期。

 

我们回到A6400,它是一个APS-C画幅的相机,可以拍6000*4000像素的3:2照片。

视频方面最高可以拍3840*2160的16:9视频,在24帧和25帧下有6K的超采样。

30帧下画面会有约1.23倍的裁切,但仍然有4.8K的超采样。

这个1.23倍的画面裁切很重要,它让A6400拍摄8K的VR180视频成为可能,而代价就是牺牲部分左右视场角。

 

镜头则用的是美科的6.5mmF2.0鱼眼镜头。

这是一颗「神镜」,市面上几乎找不到第二个比它更适合拍VR180影像的镜头了。

虽然它单颗的价格也就700元,但像西顾视频6万元的VR直播相机FM DREAM,用的其实也是这个镜头。

首先它的视场角是190°,并且有非常大的成像圈直径,放在APS-C画幅上利用率非常高。

然后它的鱼眼系数大概是-0.795,接近于正交投影,也就是成像的像素会更多地分配给中央部分。

可以近似地理解为,它在鱼眼展开之后,中央部分会有1.25倍的像素量。

关于鱼眼投影的内容可以回看【V2】期。

 

并且这颗镜头的光圈值是反向虚标的。

通常情况下我只会用到F8和F4,在这两档光圈下,成像非常锐利。

而它标明的F8光圈下的进光量,大概相当于一般镜头的F4,F4则对应F2.4,F2则对应F2.2。

因此搭配APS-C画幅的机身,它的暗光拍摄画面也是能用的。

 

将A6400和美科6.5mm组合之后,在照片模式下,我们能得到一个4000像素直径的190°圆。

开启30帧的视频模式,我们可以得到一个这样纵向的16:9画面。

它的成像圈直径大概是3140个像素,左右部分视角被裁切。

展开为VR180格式后,单眼的水平视角刚好是106°,比PICO 4的105°视场角多一点。

当然左右眼的视场角并不完全重叠,双眼水平视角则是110°,垂直视场角则是完整的180°。

在VR里的观感是这样的,可以摸到VR180的视野门槛。

 

也就是说,虽然A6400原生只能拍4K规格,但在开启30帧牺牲掉一部分视场角之后,我们就可以得到一个6K的画面。

然后因为美科6.5mm镜头的鱼眼系数是-0.795,接近于正交投影。

因此把图像鱼眼展开到最大化的VR180之后,最中央部分的清晰度可以再乘以1.25,我们最终会得到一个8K的画面。

虽然只有中央部分能达到8K,并且左右部分视角会被裁切掉。

但我们实现了用一个非常低的价格,获得一个越级的8K的VR180视频规格。

 

如果切换成25帧,那么也可以得到一个比较广的水平135°视角,左右的黑边已经可以忽略不计。

但是中央部分的画质也会下降,吃不满8K的分辨率。

因此这里我们需要4K30帧时的1.23倍裁切。

它并不只是把左右的画面裁掉,而是把有限的像素往中间挤压,把更多的像素分配给中央部分的画面。

这种裁切在分辨率不足的情况下是一种可以利用的特性,我们用它来寻求分辨率和视场角的均衡点。

 

我们可以对比30帧和25帧时,原始成像画面对于CMOS的利用率,注意这2个分辨率都为3840*2160。

可以看到25帧的画面虽然视场角更广,但很多像素都被浪费掉了。

如果我们不需要那么高的清晰度,而是想要更广的视野,那么用25帧也是可以的。

但25帧下有两个大问题,第一个是帧数比30帧少了16%,帧数太少时,左右画面帧不同步的概率会变大。

第二个是25帧下画面是6K超采样的,滚动快门效应非常严重,这会导致画面扭曲令人眩晕,并且也会反过来加剧帧不同步的问题。

因此我测试下来,4K30帧是最优的选择。

 

当然我们也有办法绕过这个问题,那就是只拍照片。

因为照片模式下是无裁切的3:2的6000*4000像素,我们可以得到一个完整的180°圆。

此时中央部分在鱼眼展开之后可以到10K,这是一个非常越级的规格。

因此如果我们愿意放弃视频,只拍VR180照片,那么就会有一套性价比更高的方案。

那就是二手索尼A5100+美科6.5mm鱼眼镜头,全套下来价格大概在5000元内,但它的照片画质,可以超过市面上那些接近10万元的VR直播相机。

并且A5100比A6400更加轻便,摄距最小可以到63mm,能适配更多人的瞳距。

后面我们可以再出一期视频来讲这套方案。

 

 

2. 固定与同步

在选型好机身和镜头之后,我们需要将它们组合固定起来。

比较常见的固定方案是像Entaniya的那种镜头环,带微调功能。

Nodal Ninja也有出类似的镜头环方案,并且商品图上用的镜头看上去也是美科6.5mm。

淘宝上也能找到类似功能的镜头环。

但美科的这颗镜头,光圈环和对焦环很靠后,采用镜头环固定的话可能会影响功能。

因此这里我用了比较奇特的方法来固定,以下用到的这些配件仅做参考,大家可以进行灵活调整。

如果你会3D打印的话,那就更方便了。

 

首先用长度为12.7mm的英制1/4螺丝将两个相机的底部连接在一起。

在淘宝上找的话得搜「机米顶丝」,并选这样的一个规格。

然后需要有两个A6400专用的双头冷靴扩展板。

淘宝上有卖A6600款式的,咸鱼有卖A6400的,这两个我测试过都能用在A6400上,功能上没有区别。

然后需要2个冷靴转1/4螺丝孔的连接件,其中1个只需要用到旋钮部分,将2个旋钮拧到同1个冷靴底座上。

然后就可以将右侧相机固定在竖拍L板上,L板的型号是L130-50。

左侧则是固定在一个通用的相机兔笼的冷靴提手上,我这里的型号是斯莫格老款的2094,尺寸如下。

这个其实没有什么硬性要求,建议买二手或者其他牌子类似功能的便宜款式就行。

然后底部是一个通用的20cm的长条快装板,我用的型号是PU 200B。

将它们组合在一起,尽量调整使得2个相机齐平。

 

然后为了保证左右相机的帧尽量同步,所以还需要再加一个快门线遥控器。

型号随意,但注意要选这种2.5mm接口的,我用的型号叫PROfezzion。

然后我们再买一条2.5mm一分二转接线和一条2.5mm索尼快门线。

就这样一个快门遥控器可以分出来2条控制线,同时连接2台相机。

按下快门时,两台相机就会同时开始录制。

 

不过即便如此,我们也无法保证快门是在同一时刻按下的,总会有毫秒级的偏差。

因为两个相机之间是没有通信的,左右画面之间总会有帧的时间差,无非是程度的大小而已。

快门线只能缓解情况,但不能解决帧不同步的问题,不过这也要比手动按快门好很多了。

我们可以通过提高帧率,来缓解帧不同步的问题,不过A6400只能做到4K30帧。

 

如果是专业的VR相机,就需要有两个CMOS之间的同步通信。

或者像佳能双鱼眼镜头一样,干脆只用1个CMOS,就不存在帧不同步的问题。

那帧同步的问题很重要,VR180画面的卡顿和不适感,其实大多数时候都来源于左右帧的不同步。

这里暂时先不展开,后面会出另外的视频来聊这个话题。

 

 

3. 对焦环的校正

在安装完相机之后,我们需要对镜头的对焦环进行校正。

虽然美科6.5mm是一颗VR180神镜,但也就只是一个700块钱的廉价手动镜头,做工非常一般。

它出厂的对焦环刻度经常是不准的,有可能我们把两个镜头的对焦环都拧到同一个刻度上,但实际上左右画面对焦到了不同的位置。

所以需要先统一两个镜头对焦环的刻度。

 

首先准备一把1.0mm规格的一字螺丝刀。

然后我们将镜头光圈环拧到F2的刻度,对焦环拧到0.3米的刻度。

将相机切换到拍照模式,并开启对焦放大,然后对焦0.3米远的物体进行拍摄。

像我习惯对着电脑屏幕显示的白底黑字文档进行拍摄,这样比较容易确定合焦情况。

转动对焦环,使得0.3米远的物体在相机屏幕里有准确地对上焦。

注意这里的0.3米是指物体到相机传感器的距离,像这里就是电脑屏幕,到A6400机身这个传感器标记的距离。

在准确对焦物体之后,如果对焦环的刻度正好是在0.3米上,那就说明对焦环是正确的。

如果刻度没有对齐在0.3米上,那就需要进一步校正。

我自己买的那几个镜头都有不同程度上的偏差。

 

我们保持这个对焦位置不动,把镜头上的橡胶圈垂直往外拉一小段,不用完全取下来,只需要露出里面的一字螺丝就行。

注意要垂直往外拉,不要改变对焦环的刻度位置。

接着用1.0mm的一字螺丝刀,将橡胶圈下的4颗一字螺丝拧松。

注意拧松就行,不要完全拧下来。

拧松螺丝后,对焦环的刻度就可以无摩擦地转动,这个转动不会改变实际的对焦位置。

然后我们再把对焦环转动到正对着0.3米的刻度,并把四颗螺丝拧紧,最后把橡胶圈复原。

此时对焦环上的刻度就校正好了。

那因为我一般只会使用F8/1m和F4/∞无穷远这两个档位,所以保险起见还会再多做两步测试。

也就是测试在F8和F4光圈下,1米和无穷远的物体能否正确对焦,有时候会需要再做一下微调。

这样在拍摄时才可以放心地调整参数,而不会造成左右画面的成像出现差异。

 

那校正对焦环的这一步还是很重要的,因为美科的这颗镜头的对焦刻度就是容易跑偏。

像西顾视频的VR直播相机FM DREAM也是用了这个镜头,官网有提供用它拍的样片下载。

在这个官方样片里,切换到近景的打鼓画面时,我们会发现它的左眼能对上焦,而右眼就没有对上焦,那我猜测这个机位的镜头可能就没有校正好对焦环刻度。

要知道这台相机卖6万多块钱,并且这还是官方提供的样片,都会出现这样的低级问题。

 

我在「PICO视频」的VR直播里,经常会发现这种问题,一只眼睛清晰一只眼睛模糊,合在一起观看时就会让人觉得非常晕。

事实上新款的FM DREAM用的美科6.5mm,这个镜头只有对焦问题还好说。

之前的FM DUO用的是美科6-11mm F3.5变焦鱼眼镜头,这颗镜头是可以变焦段的,从6mm变到11mm,画面会被放大。

然后有很多VR直播间就乱拧两个镜头的焦段,甚至没有保证左右焦段是一致的。

 

我们之前在【R7】期说过,PICO有组织过一次大熊猫直播,那次的直播画面就有问题,让人晕3D。

在那一期里我分析过,它的左眼真实视场角要比右眼的小,当时其实我是有点费解的。

但在看到FM DUO用的是美科6-11mm变焦镜头之后,我基本上就可以确定问题是什么了。

其实就是双目相机左右镜头的焦段不一致,没有拧到相同的刻度上。

这种错误真的太低级了,要知道这台相机当时卖14万,但似乎整个PICO都没有人关心它是否有被正确使用。

好像只要拍到了画面并直播推出去了,一切就万事大吉,根本没有人在意画面质量。

不仅是直播,我在看很多PICO官方自制的VR180精修视频时,也发现了一大堆问题,我们有机会再展开聊。

 

 

4. 参数的标定

在校正完镜头的对焦环刻度之后,我们还需要对相机的参数进行标定。

首先要确定成像圈圆心的坐标偏移。

 

在照片模式下,相机拍摄的像素是6000*4000,那么理论上成像圈的圆心会是在(3000,2000)的坐标位置。

但事实上A6400和美科6.5mm搭配之后,圆心的坐标并不是在正中心,而总是存在着一定的偏移,我们需要知道这个偏移量是多少。

上一期【V5】期的GoPro其实还好,因为GoPro一体化程度很高,它的圆心偏移很小,几乎可以忽略不计。

 

但A6400机身+美科镜头的图像中心偏差就没有办法忽略。

哪怕是相同型号,不同镜头搭配不同的机身都会有不同的偏移量,有时候很准有时候很离谱。

因此哪个镜头搭配哪个机身要确定好,A镜头对应B机身,C镜头对应D机身,更换之后会有不同的偏移量。

不过好在这个参数只需要测一次,后续维持相同的搭配就行。

 

那这里又有一个坑。

美科6.5mm这颗镜头其实有两个版本,至少我买到过2个版本。

老版的编号格式是AAA-BBBB,新版是8个B。

A代表字母,B代表数字。

在照片模式下,老版的成像圈直径是4000像素,而新版的直径是3870像素。

老版因为圆心偏移,经常不能在6000*4000的照片模式下显示完整的190°圆。

而新版稍微缩小了一下成像圈,哪怕圆心偏移得厉害,也可以显示一个完整的190°圆。

并且新版的光圈环和对焦环螺丝会稍微大一点,不会那么容易滑丝。

不过因为这个成像圈的视场角是190°,而VR180视频需要的是180°,因此新版和老版都是可以用的,只是后期在Mistika软件里的Focal Length参数会不一样。

建议尽量使用相同的版本,但版本不同也没问题,在Mistika里修改对应的参数就行,差别不大。

 

那确定圆心偏移量的方法也很简单。

先在照片模式下拍一张照片,然后进入Photoshop里,画一个直径4000像素的圆。

让它刚好完全覆盖住成像圈,然后看圆心坐标和图片中心点的偏移有多少。

当然如果是新版镜头,则用直径3870像素的圆。

我自己测得的数据是这样的,其中有一个比较准,另一个就偏移得比较多。

这组数据是用来在剪辑软件里做后期校正的。

后期在调整Framing图层时,需要在Offset X和Offset Y里,将这个偏移量反向补偿回去,让成像圈圆心位于图像中央位置。

关于用Mistika软件拼接VR180视频的操作,可以回看【V5】期。

 

注意刚才测得的坐标偏移数据,是在6000*4000的照片模式下的。

而处理4K30帧的视频时,我一般都会在Pad to fit等比例缩放模式下Roll旋转90°,再手动把Scale Y缩放到2160。

此时视频的成像圈直径就是原始的3140像素,并且点对点地放置在8192*4096的画布上。

此时我们要将偏移量除以4000再乘以3140。

然后VR stich图层里的Focal Length焦距是5.64,Fisheye F鱼眼系数是-0.795。

这两个数据是怎么得出来的,我们以后的视频再讨论。

注意这个Focal Length的5.64是老版的镜头焦距参数,新版的话大概是(5.64÷3870×4000)=5.83,可能需要进行微调。

 

上面的这些数据是4K30P视频模式的,而4K25P模式和照片模式等,只需要改动对应的坐标偏移量、缩放方式、和焦距参数就行,等比例缩放,这都是简单的乘除法。

而Fisheye F鱼眼系数-0.795则是不用改动的,因为它是镜头固定的物理性质。

 

我知道这些计算是有点麻烦的,但只需要耐心地做一遍就行了。

然后把哪个镜头和哪个机身,左眼还是右眼确定下来,这些参数以后是不用再修改的。

像我自己就列了一个表格,用哪个规格拍摄的,后期就直接套用那个规格的参数。

也可以直接保存为工程模板,后期直接替换素材就行。

 

在正确解算出VR180画面之后,我们还要需根据画面,微调校正一下相机的姿态。

我们在【V1】期里说过,在20PPD的显示里,超过75m远的物体没有视差。

因此我们对着远处超过75米的物体拍一张照片,或者录一段视频,然后进入Mistika的后期里,打开B&W  Anaglyph黑白浮雕模式,观察左右眼画面的视差。

一般看Pitch俯仰轴和Yaw航向轴的偏移量,然后再微调机身的姿态,以消除这两个轴上的偏差。

可以不用那么精细,但尽量要确保不出现太过离谱的偏差。

这一步是非必要的,但有总比没有好。

在校正完成之后,把相机支架上的螺丝全部拧紧锁死。

这样前期工作就全部结束了,后面我们就把关注重点都放在拍摄的内容本身上了。

 

 

5. 结语

那这一套DIY的双目相机方案大概就是这样。

我把关键点都列举出来了,如果你想DIY自己的方案,可以参考这些可能踩坑的地方。

可以看到还是很繁琐的,但好在大部分工作都只需要做一次就行。

 

那我还是很喜欢这套相机的,它让我用很低的价格得到了一个越级的画面。

3月份的时候我用这套相机拍了挺多视频的,有分享在网盘链接的「第2次更新」文件夹里。

其中包括一套我大学的师弟师妹的婚礼现场。

在拍完这套视频之后,我觉得前面折腾了这么久的相机方案都是值得的。

 

5月份的时候我也拍了A-SOUL的线下舞台活动,收录在第4次更新里了。

我能想象到,很多年之后回看这些VR180影像,它们都会把我带回故事发生时的那一刻。

这些VR180影像对我来说非常珍贵。

 

我不是一个VR游戏玩家,并不把VR当游戏机。

我对PICO现在主推的那些美女VR直播也没有什么兴趣,不要老想着给我喂那些东西。

但其实我愿意为VR付费,我为自己创造内容,也很想分享这些感受。

我觉得从业者应该要好好思考什么才是有价值的内容。

 

那这一期就先到这里了。

我们后面会把重点放在VR180原理上,探讨如何更好地记录、保存和传递关于现实世界的真实感受。

我是HW君,我们下期再见。

(本章节完)

By HW君 @ 2023-06-11

guest
3 评论
最新
最旧 最多投票
内联反馈
查看所有评论
serpentine
serpentine
2024-01-05 17:14

博主好,如果再降级一些,选用淘宝的摄像头模组组装的话,有哪些可能需要注意的地方呢?
比如说,如果选用190° 4056*3040 F2.4 6.5 mm定焦鱼眼摄像头,会牺牲掉哪些性能?以及两个这样的摄像头接在树莓派上的话,还需要考虑帧同步问题吗?
下面是我提到的那个摄像头的文档。
(https://www.waveshare.net/wiki/IMX378-190_12.3MP_Camera)

serpentine
serpentine
2024-01-31 16:02
回复给  HW君

谢谢回复!目前我用quest3本身实现这种降级需求哈哈