Page 116 - 《软件学报》2026年第5期

李玘芮 等: 姿态控制人物图像视频生成技术综述 1995

表 2 视频类姿态控制人物图像视频生成数据集 (续)

分类 名称 数据大小 分辨率 特点
模特服装展示视频, 动作包含转圈, 姿态
[62]
时尚 Fashion dataset 600段视频, 每段视频350帧 940×720 偏向直立, 背景空白单一
服饰
VVT [119] 791段视频, 总共190 101帧 256×192 时装模特走秀, 背景空白单一
[49]
Everybody dance 105段视频, 对应的二维姿态 1024×512 包含人脸边框
舞蹈
TikTok [120] 340段视频, 对应的UV坐标 1080×604 包含人物遮罩以及UV坐标
3.2 评价指标
评价指标是衡量姿态生成模型性能的重要工具, 主要分为标准化计算的客观指标与主观指标.
3.2.1 客观指标
在姿态控制人物图像视频生成任务中, 客观指标通常包含有衡量质量、多样性、美观度以及服装、姿态、时
间上的一致性程度, 具体信息如表 3 所示. 表 4 引用了部分姿态控制生成方法在 TikTok 数据集上的评测, 结果引
用自对应方法后标注的论文. 可以看出, 常用的客观指标仍然以衡量生成图像或视频的质量为主.

表 3 姿态控制人物图像视频生成任务指标

分类 名称 描述 英文全称
L1误差 [121] 测量预测帧和真实帧之间的绝对像素级差异 L1 error
峰值信噪比 (PSNR) [122] 量化生成图像与真实图像之间的相似度, 单位为dB Peak signal-to-noise ratio
结构相似性指数 (SSIM) [123] 从亮度、对比度和结构这3个方面评价结构相似度 Structural similarity index
图像 学习感知图像块相似性 基于深度学习的视觉相似性度量. 较低的LPIPS表明较 Learned perceptual image patch
质量 (LPIPS) [124] 高的相似性 similarity
[125] 衡量从真实图像和生成图像中提取的投影特征图的分布
切片Wasserstein距离 (SWD) Sliced Wasserstein distance
之间的Wasserstein距离
[126]
Fréchet 初始距离 (FID) 衡量生成图像和真实图像之间的分布距离 Fréchet inception distance
核心视频距离 (KVD) [126] 测量生成视频序列与真实视频序列之间的分布距离 Kernel video distance
[126]
Fréchet视频距离 (FVD) 测量生成视频和真实视频的分布之间的距离 Fréchet video distance
评估生成视频中动作序列的一致性, 尤其是对于姿态生
[127]
平均内容距离 (ACD) Average content distance
成任务
获得每两帧图像的光流, 然后计算变形图像与预测图像
[128]
视频 变形误差 (WE) 的像素级差异 Warping error
质量
Fréchet姿态距离 (FGD) [129] 衡量真实姿态与生成姿态在特征空间中的分布差距 Fréchet gesture distance
与FGD类似, 度量生成特征与真实特征在特征空间中的
[129]
Fréchet模板距离 (FTD) Fréchet template distance
分布相似性
视频的Fréchet inception距离 衡量生成视频帧与真实视频帧之间的分布距离, 同时包 Fréchet inception distance for
[34]
(FID-VID) 含空间特征和时间特征. FID-VID越低, 质量越好 videos
Inception得分 [130] 衡量生成图像的多样性和清晰度, 有时也用于视频质量 Inception score
多样性
多样性 (Div) [131] 平均计算生成姿态之间的特征距离 Diversity
外观 前k个服装属性保留率 使用预训练的服装属性识别模型预测服装属性, 前k召回 Top-k clothing attribute
一致性 (AttrRec-k) [63] 率作为最终分数 retention rate
[132] 测量与真实关键点在指定阈值距离内被正确定位的关键
正确关键点的百分比 (PCK) Percentage of correct keypoints
点的比例
姿态 通过比较与真实关键点的距离来评估生成视频中人体关
一致性 平均关键点距离 (AKD) [133] Average keypoint distance
键点的准确性
缺失关键点率 (MKR) [82] 测量在检测或生成期间遗漏关键点的比例 Missing keypoint rate
时间 [134] 通过计算连续帧的特征向量之间的余弦相似度来评估视
一致性 帧一致性 (FC) 频中的时间一致性 Frame consistency