探索使用 VideoToolbox 的低延迟视频编码

探索使用 VideoToolbox 的低延迟视频编码

支持低延迟编码器已成为视频应用开发过程的重要部分。探究 VideoToolbox 如何支持低延迟 H.264 硬件编码，以最小化端到端延迟，达到新的性能水平，实现极佳的实时通信和高质量的视频播放。

资源
- Video Toolbox
- - 高清视频
  - 标清视频
相关视频

WWDC21
- AVFoundation 的新功能
WWDC20
- 使用 AVFoundation 编辑和回放 HDR 视频
♪ ♪ 嗨我是培康来自视频编码团队欢迎观看“使用Video Toolbox 进行低延迟视频编码”
低延迟的编码非常重要对许多视频运用皆是如此尤其是实时视频的通讯运用程序在这个视频中我会介绍 Video Toolbox的一种新编码模式能达成低延迟的编码效果这个新模式的目标就是优化现有编码器管道架构在实时视频中的处理功能那么实时视频运用有哪些需求呢？
我们必须尽可能减少端对端延迟在通讯应用时产生交谈时才不会有音讯重叠的问题
我们还要强化其兼容性让视频应用程序能和更多设备进行通讯编码器管道化应能有效率地执行当通话者多于一人时
此程序也要能让视频呈现其最佳质量
我们需要稳定的机制来复原因网络中断造成的通讯错误
低延迟视频编码在我今天所谈的内容能够优化上述所谈的各个面向使用这个模式实时应用程序能达到更高效能的表现
这部视频中我会先概述低延迟视频编码为何我们就会有基本概念了解如何在管道架构中降低延迟接着我会介绍如何使用 VTCompressionSession APIs 来建置管道架构并用低延迟的模式编码最后我会谈谈在低延迟模式下引入的多项功能让我先为各位简介低延迟视频编码为何画面上是Apple平台的简易流程图呈现视频编码器的管道化 Video Toolbox将CVImagebuffer 作为输入图像要求视频解码器执行压缩算法如H.264 来缩减原始数据的大小
输出的压缩数据封装在CMSamplebuffer中可经由网络传输以进行视频通讯从图表中我们可以发现影响端到端延迟有两个因素：处理时间和网络传输时间
要减少传输时间低延迟模式消除了帧重新排序遵循一进一出的编码模式而且此模式的速率控制器有更快的调节能力来因应网络变化所以网络壅挤造成的延迟也因此大幅降低这两大优化功能让我们见识到与默认模式相比性能大幅提升低延迟编码在720p 30fps的视频中能减少高达100毫秒的延迟这样的改变对视频会议来说至关重要
随着延迟减少我们就能将更有效率的编码器管道架构提供给实时通讯功能服务像是视频会议和网络直播
此外低延迟编码模式固定使用硬件加速视频编码器以节省电量请注意支持的视频编解码器类型在此模式为H.264 这项功能将同时支持 iOS及macOS系统
接着我想谈谈低延迟编码模式如何在Video Toolbox中使用我会先回顾VTCompressionSession的使用方式接着为大家说明低延迟编码所需的步骤使用VTCompressionSession时首先要用 VTCompressionSessionCreate API 来创建会话
我们可选择性地配置会话例如目标比特率在VTSessionSetProperty API完成假如未提供配置编码器就会依默认行为运作
创建会话且正确配置之后我们能通过 VTCompressionSessionEncodeFrame 将CVImagebuffer传递给会话编码结果可从会话创建过程中提供的输出处理程序检索
低延迟编码在压缩会话中启用很容易只需在会话创建过程做修改
用以下的代码片段来示范首先我们需要一个 CFMutableDictionary 以符合编码器规格编码器规格是用来指定会话必须使用的特定视频编码器接着我们要在编码器规格中设置 EnableLowLatencyRateControl标志
最后将编码器规格赋予 VTCompressionSessionCreate 压缩会话就会在低延迟模式下运作
配置步骤跟往常相同例如以AverageBitRate属性来设置目标比特率
好的我们已经介绍Video Toolbox 低延迟模式的基本功能接下来我想介绍此模式新的功能进一步协助你开发实时视频程序目前我们谈了许多低延迟模式带来的优点还有其他的优点由我接下来介绍的功能就能做到
首先是配置档案的功能我们在管道架构中增加两项新配置来强化其兼容性
还有令人振奋的时间可调性功能这个功能对视频会议非常有用
现在你可以更加精准控制影像质量使用最大帧量化参数就可以做到最后我们添加长期参考的支持来改善错误恢复的功能
接着来谈新的配置支持配置内容定义一组解码器能支持的编码算法来和接收方通讯经编码的比特流应符合解码器支持的特定配置文件
在Video Toolbox我们支持一系列的配置文件例如Baseline Profile Main Profile和High Profile
今天我们为该系列添加两个配置 Constrained Baseline Profile (CBP) 和Constrained High Profile (CHP)
CBP主要用于低成本应用程序而CHP则有更先进的算法能获得更好的压缩比你可以确认解码器功能来判断该使用哪种配置
如要使用CHP 只需将ProfileLevel的会话属性设为ContrainedBaseLine_AutoLevel
同样地可以将配置级别设置为ContrainedHigh_AutoLevel 来使用CHP
现在来谈谈时间可调性我们能通过时间可调性的功能提升多方视频通话的效率
假设现在有一个三方视频通话的场景此模型中接受器A的带宽较低为600kbps 而接受器B的带宽较高为1000kbps
通常发送方需要对两组比特流编码以符合每个接收端的下行带宽这可能不是最好的做法
该模型可以有更高效的表现通过时间可调性发送方仅需对一组比特流编码但之后输出时可分为两层
我们来看看这是怎么运作的
画面上是经编码的视频帧序列每帧都将前一帧作为预测参考
我们把一半的帧拉到另一层接着更改参考内容如此一来仅有原始图层中的帧被作为预测使用
此原始图层称为基础层而新建构的图层称为增强层
增强层可作为基础层的补充来提高帧率
对接受器A可以发送基础层的帧因为基础层本身已可解码更重要的是因为基础层只有一半的帧所以数据传输率会很低
而接受器B可以享有更流畅的视频因为它有足够的带宽来接收基础层的帧和增强层的帧
我们来看看使用时间可调性编码的影像画面接下来播放两个视频一个来自基础层另一个则为基础层加上增强层
基础层本身可以正常播放但同时我们会注意到视频不太流畅
播放第二个视频我们就能立刻看出差异比起左边的视频右边的视频有更高的帧率这是因为同时包含基础层和增强层
左边视频有50%的输入帧率并使用60%的目标比特率这两个视频只需要编码器一次编码一个比特流进行多方视频会议时这个做法将会更加节能
时间可调性的另一个优点是错误恢复的功能我们可以看到因为增强层中的帧不作为预测使用所以对于这些帧就没有相依性
意思是假如增强层中一个或多个帧在网络传输的过程中遗失其他帧也不会受到影响这个特性强固了整个会话过程
启用时间可调性的方法相当直观简单我们创建一个新的会话属性在称作BaseLayerFrameRateFraction 的低延迟模式中将属性设为0.5 意思是只有一半的输入帧被指派给基础层而其余的帧被指派给增强层
你可以从示例缓冲区附件中检查一下图层信息对基础层帧 CMSampleAttachmentKey_ IsDependedOnByOthers将为真否则为假
我们还可以选择为每一层设置目标比特率请记得我们使用会话属性 AverageBitRate来配置目标比特率
目标比特率配置完成后我们可设置新的 BaseLayerBitRateFraction属性来控制基础层所需的目标比特率百分比
如果没有设定这个属性默认值0.6就会被启用我们建议基础层比特率分数应该在0.6到0.8的范围内
现在让我们来看最大帧量化参数也就是最大帧QP
帧QP用来调节图像质量和数据速率
我们可以使用低帧QP 来产生高质量的图像这种情况下图像尺寸会很大
另一方面我们可以使用高帧QP 来产生低质量但尺寸较小的图像
在低延迟模式中编码器会调整帧QP 使用像是图像复杂度输入帧率、视频动作等因素来调整以在当前的目标比特率产出最佳视觉质量所以我们鼓励靠着编码器的默认行为来调整帧QP
但某些客户端对视频质量有特定要求我们可控制编码器能用的最大帧QP
使用最大帧QP时编码器会选择小于此限制的帧QP 因此客户端可以对视频质量进行更精细的调控
值得一提的是即使设定了最大帧QP 常规控制速率依然有效如果编码器达到最大帧QP上限但比特率预算已经用完编码器就会开始丢弃帧来保持目标比特率
使用此功能的一个例子是通过较差的网络传输屏幕内容视频
可以通过牺牲帧率来换取发送清晰的屏幕内容影像通过设置最大帧QP即可做到
来看看界面吧我们可以用新的会话属性 MaxAllowedFrameQP 来传递最大帧QP
请记得最大帧QP的值根据标准必须介于1到51之间
来谈谈我们开发的最后一个低延迟模式的功能长期参考帧
长期参考帧或称LTR 可用于错误恢复看一下这张图图中是管道内的编码器、发送方客户端以及接收方客户端
假设视频通讯通过连接不良的网络进行帧丢失可能会发生在传输错误的情况中
当接收方客户端侦测到帧丢失可以请求重新整理帧以重置会话
如果解码器收到请求通常它会编码一个关键帧以作为重新整理用途但关键帧通常相当大
大的关键帧需要更长的时间才能到达接收器既然网络条件已经不佳大的关键帧可能会加剧网络壅挤的问题
那么我们能用预测帧而不是关键帧来重新整理吗？答案是肯定的只要有帧确认就可以来看看这要如何运作
首先我们选定要求确认的帧我们称这些帧为长期参考帧或LTR 这是由编码器来决定当发送方客户端传输LTR帧时还需要向接收方客户端请求确认
如果成功接收到LTR帧需要将确认回传
一但发送方客户端收到确认并将该信息传给编码器编码器就会知道对方收到了哪些LTR帧
再看一次网络不良的情况
当编码器收到重新整理的请求但因为这次编码器有一串已确认的LTR 就能够对这些已确认的LTR中的一个预测帧进行编码
以这种方式编码的帧称作LTR-P
以编码帧的尺寸来说通常LTR-P比关键帧小得多因此更容易传输现在我们来谈谈LTR的API 请注意帧确认需要由应用层处理可以通过RTP控制通讯协议中的RPSI信息等机制来完成
这里我们只聚焦在编码器和发送方客户端的沟通过程
启用低延迟编码后就能通过设置EnableLTR的会话属性来启用这个功能
LTR帧被编码时编码器会在示例附件 RequireLTRAcknowledgementToken 发送一个帧令牌
发送方客户端负责通过 AcknowledgedLTRTokens帧属性将确认的LTR帧报告给编辑器因为可能一次收到多个确认我们需要一个数组来储存这些帧令牌
我们可以随时通过 ForceLTRRefresh帧属性请求重新整理帧一旦编码器收到这个请求一个LTR-P就会被编码如果没有已确认的LTR可使用编码器就会产生一个关键帧
好的我们已经说明了低延迟模式中新功能的内容接着来谈谈如何将这些功能搭配运用
举例来说我们可将时间可调性和最大帧量化参数使用在屏幕分享应用程序时间可调性的功能可以更高效地产生输出视频到每个接收端我们也能降低最大帧QP 以获得更清晰的UI 及屏幕上的文字内容
假如通讯是经由不良的网络必须使用重新整理帧恢复错误这时长期参考帧就能派上用场如果接收端只能解码限制配置文件我们也能以CBP 或CHP来进行编码
好的我们在视频中介绍了几个重点关于Video Toolbox引入低延迟编码模式的功能
以及如何使用 VTCompressionSession APIs 在低延迟模式中编码视频
除了低延迟的优点我们还开发了一系列的新功能以满足实时视频应用程序的需求有了这些改良功能希望低延迟模式能让你的视频应用程序更加出色谢谢收看祝你度过愉快的WWDC 2021 [轻快的音乐]

CFMutableDictionaryRef encoderSpecification =
            CFDictionaryCreateMutable(kCFAllocatorDefault, 0, NULL, NULL);

CFDictionarySetValue(encoderSpecification,
                     kVTVideoEncoderSpecification_EnableLowLatencyRateControl,
                     kCFBooleanTrue)

VTCompressionSessionRef compressionSession;

OSStatus err = VTCompressionSessionCreate(kCFAllocatorDefault, 
                                          width, 
                                          height,
                                          kCMVideoCodecType_H264, 
                                          encoderSpecification,
                                          NULL, 
                                          NULL, 
                                          outputHandler, 
                                          NULL,
                                          &compressionSession);

7:35 - New profiles

// Request CBP

VTSessionSetProperty(compressionSession, 
                     kVTCompressionPropertyKey_ProfileLevel, 
                     kVTProfileLevel_H264_ConstrainedBaseline_AutoLevel);

// Request CHP

VTSessionSetProperty(compressionSession, 
                     kVTCompressionPropertyKey_ProfileLevel, 
                     kVTProfileLevel_H264_ConstrainedHigh_AutoLevel);

资源

相关视频

WWDC21

WWDC20