Page 291 - 《软件学报》2020年第11期

3606 Journal of Software 软件学报 Vol.31, No.11, November 2020

用亚像素精度的多参考帧运动估计从中找出较优的缩放系数,可是仍未从根本上克服编码复杂度显
著升高的不足,而且无法实现缩放比例的自适应计算.为了节省缩放参考帧的存储空间,文献[53]建立
了全局/局部缩放运动的数学模型,进而推导出待预测块的缩放系数与相邻宏块的运动向量之间的线
性回归关系,理论上仅需要 1 帧大小的空间来保存参考帧.不过,这一近似关系建立在运动连续性假设
之上,对处于运动前景与静止背景交界的宏块,其估计精度有限.为此,文献[49]一方面将待预测帧划分
成大小为 4×4 像素的块,以增强相邻块的运动连续性,进而得到更加精确的缩放运动向量;另一方面,利
用待预测块左上部的像素组成模板,力图通过模板匹配来校正线性回归结果,取得了一定效果.然而,尺
寸较小的块需占用更多的码流来编码运动向量,并且模板匹配也增加了计算开销.
• 其次,以显式方式计算缩放系数,并向解码端传输同步信息.文献[54]提出了一种多尺度运动估计方法,
将待预测块缩放到不同尺度后,再利用原始参考帧完成运动估计.这样既可避免缩放参考帧所需的缓
存空间,又能实现任意缩放比例下的运动补偿.但是由于要反复缩放待预测块,其双线性插值的计算量
将显著增加.所以,文献[50]也把缩放比例减少到 5 级,提出了基于多尺度缩放模型的全搜索算法 ZFS
(zoom full search),其时间复杂度在理论上是块匹配全搜索的 10 倍;若将插值操作考虑在内,计算量则
将高出多倍(第 5.2 节的实验结果也验证了这一点).为此,文献[50]通过分析缩放运动向量的分布规律,
给出了一种 3D 快速菱形搜索算法 3D-ZPDS(zoom predictive diamond search),将缩放比例限制在一个
较小范围内.即便如此,其时空复杂度仍与块匹配全搜索相当,且刻画快速局部拉伸运动的能力有限.
综合上述两方面研究工作来看,为追求精确的缩放系数所导致的高计算量和缓存开销仍是制约缩放运动
估计效率的瓶颈.若能在一定程度上放松对缩放系数的精度要求,实现缩放比例的自适应预测,从而减少参考帧
和待预测块的双线性插值操作,则可在运动补偿质量和时空开销之间实现合理折中.

2 缩放运动模型及其比例分析
为了便于下文工作的论述,本节首先介绍缩放运动模型,然后通过实验对缩放运动在自然视频中所占的比
例进行统计和分析.
2.1 缩放运动模型简介

视频运动估计的目标是将参考帧的特定范围作为搜索窗口,进而在其中为当前待匹配宏块 I 找到一个具有
最小匹配误差平方和(sum of squared difference)的参考块 R,即
⎧ B− 1 B− 1 2 ⎫
D = argmin ⎨ [ ( (w xR m ,n , ; ), (m v w y mn , ; ))n v − I (x mn , , y m ,n )] ⎬∑∑ (1)
,
v n=⎩ 0 m= 0 ⎭
其中,当前待匹配宏块的尺寸为 B×B 像素,它与 R 之间的坐标位移称为运动向量(矢量),x m,n 和 y m,n 分别表示当前
块中 n 行 m 列像素的 x 坐标和 y 坐标,0≤m,n≤B−1;v={v x ,v y ,z}表示运动向量;w(⋅)表示以待预测块 I 的左上角像
素(x 0,0 ,y 0,0 )为原点的缩放运动函数,其定义为
w(x m,n ,m;v)=z⋅m+(x 0,0 +v x ) (2)
w(x m,n ,m;v)=z⋅n+(y 0,0 +v y ) (3)
其中,v x 和 v y 为待预测块的平移分量;z 为缩放系数,它建立了待预测块的原始尺寸 bs 及其缩放后的尺寸 zbs 之
间的关系.
zbs − 1
z = (4)
bs − 1
同时,缩放运动模型由两个参数进行控制:缩放步长 zv 和缩放尺度 zs.前者表示块尺寸的变化量,以像素为
单位;后者则表示缩放的最大尺度,也以像素为单位.两者共同决定了待预测块在缩放后的尺寸 zbs.
⎛ zv ⎞
zbs = bs + ⎜ bs × ⎟ , − zr ≤ zv ≤ + zr (5)
⎝ zs ⎠
一方面,当 zv<0 时,表示缩小待预测块;当 zv>0 时,表示放大待预测块;当 zv=0 时,表示待预测块未发生放缩.