解码 Vision Pro 空间视频格式 MV-HEVC
iOS 17.2 Beta 版本的更新让我们能够通过手机（iPhone 15 Pro 系列）拍摄 Apple Vision Pro 空间视频，在 6 月份 WWDC 2023 开发者大会上， 同时公布了对空间视频格式的编解码SDK 支持。本文主要用官方 SDK（Video Toolbox） 对手机拍摄的空间视频进行编解码分析。
关于 MV-HEVC
Apple Vision Pro 的空间视频采用 MV-HEVC （即多视图-高效视频编码）标准进行编码，所谓的多视图 是指在同一帧保存多个画面信息，例如空间视频的每一帧都保存左、右双眼的画面信息， 只是有别于当前以双目画面并排显示（Side by Side，SBS）的方式，MV-HEVC 通过主视图（Hero Eye ）和辅助视图差别信息 的方式存储，这样既可以更好地提升存储效率。
Video Toolbox 对 MV-HEVC 的支持
苹果官方的 Video Toolbox SDK 已经提供了对 MV-HEVC 编码的支持，可以通过以下方法检查当前平台是否支持空间视频编/解码功能：
func VTIsStereoMVHEVCEncodeSupported() -> Bool
func VTIsStereoMVHEVCDecodeSupported() -> Bool
解码（Decompression）
let h265url = URL(fileURLWithPath: "IMG_0757.MOV")
let asset = AVAsset(url: h265url)
// 获取视频轨道对象
let videoTrack = try await asset.loadTracks(withMediaType: .video).first!
print("Video Format Desc:")
print(try await videoTrack.load(.formatDescriptions).first!)
读取手机拍摄的空间视频后，可以先查看一下视频的格式描述（formatDescriptions），其中包括以下和空间视频及其拍摄设备相关的重要信息：
-
编码类型为
hvc1，是苹果采用的 HEVC/H.265 标准的编解码实现； -
视频分辨率为：
1920 x 1080，是当前 iPhone 15 所能拍摄的 1080P 30FPS 分辨率； -
HasLeftStereoEyeView和HasRightStereoEyeView标记了当前视频文件是否保存左右眼视图信息； -
DisparityAdjustment：表示左右图像相对移动的值，该值是一个 32 位整数，测量范围为 -10000 到 10000，映射到 -1.0 到 1.0 的统一范围，它会改变零视差平面； -
StereoCameraBaseline：代表摄影系统镜头中心间距的数值，单位为微米，iPhone 15 Pro 超广角（14mm） 和主摄镜头（35mm） 的中心间距约为 19mm，即下图中的 19240 微米。
通过 Video Toolbox 对 MV-HEVC 视频进行解码需要以下几个步骤：
- 创建
VTDecompressionSession：
1. func VTDecompressionSessionCreate(
2. allocator: CFAllocator?,
3. formatDescription videoFormatDescription: CMVideoFormatDescription,
4. decoderSpecification videoDecoderSpecification: CFDictionary?,
5. imageBufferAttributes destinationImageBufferAttributes: CFDictionary?,
6. decompressionSessionOut: UnsafeMutablePointer<VTDecompressionSession?>
7. ) -> OSStatus
代码解读- 设置解码器属性：
VTSessionSetProperty，这里需要设置**kVTDecompressionPropertyKey_RequestedMVHEVCVideoLayerIDs****** 来告诉解码器需要解码的视图图层：
1. func VTSessionSetProperty(
2. _ session: VTSession,
3. key propertyKey: CFString,
4. value propertyValue: CFTypeRef?
5. ) -> OSStatus
代码解读- 设置多视图解码回调函数，该回调函数用于处理每一帧解码获得的图像信息，要注意的是目前这一函数仅支持 Objective-C 且强制限定 Swift 不可用：
1. OSStatus VTDecompressionSessionSetMultiImageCallback(
2. VTDecompressionSessionRef decompressionSession,
3. VTDecompressionOutputMultiImageCallback outputMultiImageCallback,
4. void *outputMultiImageRefcon);
代码解读- 在回调函数中处理每一帧的图像信息，如果解压缩成功，则 taggedBufferGroup 包含解压缩帧的多个图像；否则为 NULL：
1. typealias VTDecompressionOutputMultiImageCallback = (
2. UnsafeMutableRawPointer?,
3. UnsafeMutableRawPointer?,
4. OSStatus,
5. VTDecodeInfoFlags,
6. __CMTaggedBufferGroup?,
7. CMTime, CMTime) -> Void
代码解读- 调用 VTDecompressionSessionDecodeFrame 开始解压每一帧；
- 调用 VTDecompressionSessionInvalidate 销毁 DecompressionSession****。****
通过以上方法，我们就可以将 iPhone 或 Vision Pro 拍摄的空间视频进行解码，以获得完整的左、右视图信息，或者转换成传统的 SBS 格式。
编码（Compression）
Video Toolbox 进行 MV-HEVC 编码的流程与解码过程类似：通过
- 通过
VTCompressionSessionCreate函数创建 CompressionSession； - 设置左右视图对应的图层 ID：
3.设置上文所展示的视频格式描述信息：
调用多视图帧编码方法 VTCompressionSessionEncodeMultiImageFrame ：
func VTCompressionSessionEncodeMultiImageFrame(
_ session: VTCompressionSession,
taggedBuffers: [CMTaggedBuffer],
presentationTimeStamp: CMTime,
duration: CMTime,
frameProperties: CFDictionary?,
infoFlagsOut: UnsafeMutablePointer<VTEncodeInfoFlags>?,
outputHandler: @escaping (OSStatus, VTEncodeInfoFlags, CMSampleBuffer?) -> Void
) -> OSStatus
代码解读- 在回调函数中处理编码完成得到的 sampleBuffer：
typealias VTCompressionOutputCallback = (
UnsafeMutableRawPointer?,
UnsafeMutableRawPointer?,
OSStatus,
VTEncodeInfoFlags,
CMSampleBuffer?) -> Void
代码解读通过以上方法，我们可以将其他设备所拍摄的 SBS 立体视频文件编码为 Vision Pro 支持的 MV-HEVC 空间视频格式。
本文主要总结记录了使用苹果官方 SDK （Video Toolbox）对 iPhone 和 Vision Pro 支持的空间视频格式进行编解码操作的方法。在这一标准和开发工具的支持下，打通了不同设备之间进行 3D 视频创作、分享的障碍，这将让 iPhone 成为目前市场份额最大、使用门槛最低的 3D 视频创作工具。