文 | HW君
本文为B站【V10】期的视频讲稿。
存在动态演示，请以视频画面为准。
非标传统平面3D的困境，为何能标准化的球面3D才是未来【双目VR摄影#V10】
0. 死去的3D电视产业
好莱坞3D电影一直没能掀起什么波澜，十多年前的3D电视行业也完全死掉了。
原因其实很简单，传统的「平面3D影像」无法在深度和张角上进行标准化，因此在内容生产端和消费端都无法保证基础的体验。
而这一切在VR的「球面3D影像」中，有了解决的可能。
消失的模因，大家好，我是HW君。欢迎来到【V10】期，也就是「双目VR摄影」系列的第10期。
【V系列】狭义上讨论的话题是，如何拍摄与制作「VR影像」。广义上探讨的则是「摄影」「光学」「VR」这三个学科的交叉地带。
上一期我们聊到了，人类在三维空间中的体积感知，受到「深度」和「张角」的影响。
因此如果想要双目VR摄影中达成「身临其境」，那么3D影像就需要有正确的「深度」和「张角」。
而传统的「平面3D影像」在这两方面都无法做到，所以一直没能良好地发展起来。
所以这一期我们会稍微展开谈一下。
1. 非标平面3D的困境
不久前苹果发布iPhone15 Pro，支持用「主摄+超广角」2个摄像头进行3D拍摄，所拍摄的3D视频可以在Vision Pro上回看。
很多人被苹果的宣传视频所误导了，以为苹果建模了整个3D场景，实际上那只是普通的3D拍摄，这个宣传片加了很多特效。
苹果称其为空间视频，但其实就是普通的3D视频，苹果在iPhone15Pro的详情页里承认了这一点。
并且我们也可以更进一步准确地描述，它是传统的「平面3D影像」。
它的画面是一个平面矩形，播放器也是一个平面矩形。
我们对这类影像并不陌生，电影院里的3D电影便是如此。
苹果其实很清楚「平面3D影像」的问题所在。
在Vision Pro的空间视频开发教程的结尾，有提到一些3D视频里常见的问题，但并没有给出解决方案。
苹果空间视频教程：
Deliver video content for spatial experiences
https://developer.apple.com/videos/play/wwdc2023/10071/
说实话，在得知苹果选择了「平面3D影像」时，我是有点失望的。
但这似乎又是合理的，因为它可以直接对接美国成熟的3D影视工业。
但「平面3D影像」是旧时代的格式，无法成为苹果驶向新世界的船。
「平面3D影像」最大的问题在于，它在「深度」和「张角」上都是非标的。
首先是前期拍摄时，摄距是可以灵活改变的。
而在后期剪辑时，画面视差的偏移量也可以在后期软件中被手动调整。
于是所呈现出来的3D影像其实并没有「标准」可言，全凭「老师傅的经验」。
哪怕前期严格按照某一规则来拍摄，后期遵照流程出品成片，但不受控制的观看条件也将使得一切失去标准。
在客厅看电视时，我们可能离得近也可能离得远，可能正着看也可能侧着看。
在电影院里我们可能坐在第一排，也可能坐在最后一排。
手机或者电脑屏幕也是如此，可近可远，播放画面也可以缩小放大。
首先画面的缩小和放大，会改变画面的张角。
而我们靠近或远离屏幕，甚至偏离屏幕中轴，除了会影响张角，也会导致双目视差的改变，进而影响深度。
最终我们的体积感知会出现偏差。
这些种种的原因都会导致信息传递的失真，最终无法达成「身临其境」。
也许我们仍然可以得到一个图一乐的非标「立体感」，但那是非常鸡肋的。
而它还会带来一些影响舒适度、导致3D眩晕的问题，例如上面提到的「窗口违规」。
可以想象到，接下来很多创作者会遇到相关的问题，也不得不去学习这些概念，但在「平面3D影像」的旧框架下，它们并没有很好的解决方案。
2. 标准化的球面3D 影像
新时代是属于「球面3D影像」的。
这个说法并不直观，那我们换个说法，那就是以VR180为代表的3D全景视频。
我们提到「VR180」这个词时，指的是一种左右3D的影像格式。
单个画面为一个180°半球面，投影到一个二维矩形平面上，其投影方式为「等距柱状投影」。
但其实这个投影并没有什么特殊的，将其换成其他形式的投影也是可以的。
例如将其改为鱼眼投影，并且鱼眼系数是可以任意给定的，具体的可以看【V2】期。
《VR | #2 认识鱼眼镜头，球面的投影方式和鱼眼校正》
http://gonememe.com/archives/7268
同样的VR360也是如此，「等距柱状投影」是非必要的，可以改成其他投影。
例如普通的立方体贴图投影，也可以是谷歌提出Youtube使用的做了等角映射的立方体贴图透明，也可以是Facebook提出的金字塔贴图投影。
#Creation and use of synthetic circular fisheye images
http://michel.thoby.free.fr/Fisheye_history_short/Projections/synthetic_circular_images.html#Converting to/from cubemaps
https://paulbourke.net/panorama/cubemaps/#Facebook’s Cube And Pyramid Encoding For 360 And VR Videos
https://www.youtube.com/watch?v=9xTSrt2BRXs
既然投影方式不是必要的，那么VR180影像的本质到底是什么呢？
它是图像FOV的标准化。
我这里制作了一个VR180视频，上面标出了FOV的等高线。
在VR眼镜中将其以VR180模式播放的话，就会看到画面上所有的FOV都被锁定在半球空间上。
这个视频我分享在下方的网盘链接里了，有兴趣的朋友可以尝试一下。
这就是VR180的本质，画面通过FOV进行标准化，于是物体就有了固定的张角。
而人的视点永远是在球幕的球心上，不会随着你的观看位置而发生改变，于是双目视差也不会发生改变，物体也就有了固定的深度。
拥有了固定的张角和深度，于是我们可以产生正确的空间感知，我们能够真正体验到「身临其境」。
这些在非标的「平面3D影像」里，都是无法实现的。
而因为这类「球面3D影像」可以实现标准化，创作者对于观看者的体验有一个稳定的预期，因此更容易在创作时表达自己的意图，让自己想表达的内容通过影像准确地传递。
因此大规模的创作也才有了基础。
标准化的球面3D影像可以跨越空间和跨越时间，在不同人的思想中准确传递信息。
所有的一切才都有了意义。
3. 球面到平面再到球面
因此双目VR摄影所做的事情，就是用2个相机捕获空间里的2个半球面，然后在VR眼镜中重现这2个半球面。
而这两个半球面的FOV和深度都应该要进行标准化，这样我们在观看时才能得到正确的体积感知，达成身临其境。
但问题是，相机传感器是一个平面，其记录下来的图像也是一个二维的平面。
那么就需要有一个「球面空间」到「平面图像」，再从「平面图像」到「球面显示」的过程。
这些转换过程就是各种各样的投影，也就是【V2】期里所说的那些东西。
而一旦知道了在这个过程里，我们正在想要得到的是，正确的深度和张角（FOV）之后，那么我们就会马上发现VR180或者说等距柱状投影，是一个非常低效的格式。
我们需要改良这个格式，才能走向新世界。
那这一期就先到这里了。
我是HW君，我们下期再见。
（本章节完）
By HW君 @ 2023-09-24