Page 293 - 《软件学报》2020年第11期

3608 Journal of Software 软件学报 Vol.31, No.11, November 2020

Table 1 Statistics of the zoom motion ratio in natural videos (Continued)
表 1 自然视频中缩放运动的比例统计(续表)
视频序列 格式 每帧的总块数 发生缩放运动的平均块数 缩放运动比例(%)
BQTerrace 960×540@60 fps 2 025 1 320.24 65.20
Cactus 960×540@50 fps 2 025 1 354.58 66.89
Johnny 1280×720@60 fps 3 600 2 587.84 71.88
FourPeople 1280×720@60 fps 3 600 2 010.65 55.85
KristenAndSara 1280×720@60 fps 3 600 2 494.46 69.29
平均 − 1 135.50 742.50 56.21

从表 1 可见:
• 自然视频中,平均约有 56.21%的像素块能用缩放模型更好地捕获其运动.
• 高清视频发生缩放运动的平均比例(72.59%)高于标清视频(45.97%),如 Harbour、ParkScene、Crew 等
序列的缩放运动比例甚至已超过 80%.
综合上述统计结果,缩放运动是视频中除平移运动以外的主要运动形式,故此在平移模型中引入缩放系数
是非常必要的,有利于更加有效地预测丰富的物体运动,尤其适用高清视频.
3 自适应缩放系数的计算方法

为求解第 2.1 节的缩放运动模型,文献[50]首先利用 3D 全搜索 ZFS 计算最优缩放步长 zv,再将其代入公式
2
2
(5)得出块尺寸 zbs,进而根据公式(4)计算最佳缩放系数 z.该过程的时间复杂度达到了 O(2B W zr)(W 表示平移运
动向量的搜索窗口尺寸),为块匹配全搜索的 2zr 倍.并且由于比块匹配全搜索多出大量双线性插值操作,ZFS 还
2
2
2
2
需 O(8B W zr)次乘法和 O(4B W zr)次加法来计算亚像素精度的像素值,其实际计算代价将明显高于块匹配全
搜索.因此,减少双线性插值次数,是在平移模型中引进缩放系数时所必须要解决的关键问题之一.
虽然亚像素精度的像素值会随着图像内容的不同而变化,但是它在本质上是由其相邻整像素精度的采样
点根据像素值的某种分布假设进行插值而来 [55,56] .因此,若把整像素精度的像素值视为一个变量,则亚像素精度
的像素值就是其函数.一旦整数位置的像素值确定,那么在给定插值算法的情况下,亚像素值亦是确定的.据此
思路,缩放系数应可由整像素精度的像素值推导得出.
在本节中,我们以广泛采用的双线性插值为例,从讨论 1D 缩放情况下的自适应缩放系数入手,推导 2D 等比
例缩放情况下自适应缩放系数的计算方法.
3.1 1D缩放情况下自适应缩放系数的计算
本节考虑当前待预测块仅存在沿水平方向的 1D 缩放运动的情形.设待预测块的像素为 c m,n (m,n∈[0,B−1]),且经过
整像素精度的块平移全搜索后,所得到的参考帧中最佳匹配块的像素为 r m,n ;进一步地,假设当缩放系数为 z 时,
*
与 c m,n 相匹配的亚像素精度的像素为 r mn , ,显然,它位于整像素精度的像素 r m,n 和 r m+1,n 之间,其中,r m+1,n 表示最佳
匹配像素 r m,n 右侧的相邻整数位置的像素(如图 2 所示,蓝色实线框表示待预测块及其整像素精度的最佳匹配
块,红色虚线框表示经过水平缩放的最佳匹配块),则由线性插值可知,
r ⎧ ⎪ * = pr + qr
⎨ mn mn m+ 1,n (6)
,
,
+=
⎪ ⎩ pq 1
*
*
其中,q 为像素 r m,n 和 r mn , 之间的距离,p 为像素 r m+1,n 和 r mn 之间的距离,则有
,
⎧ q = m z ⋅− ⎢ ⎣ m z ⋅ ⎥ ⎦
⎨ (7)
1 q
⎩ p =−
将公式(7)代入公式(6),就有:
r * = [1 (m z− ⋅− ⎢ m z⋅ ⎥ ⎣ ⎦ )]r + (m z⋅− ⎢ m z⋅ ⎥ ⎣ ⎦ )r (8)
,
mn mn m+ 1,n
,
再将 r * 代入公式(1),则可得到当缩放系数为 z 时,当前待预测块 I 的预测误差为
mn
,