Page 64 - 《软件学报》2026年第5期

李泽超 等: 基于 CLIP 引导标签优化的弱监督图像哈希 1943

重是 ViT-B-32, 微调过程中采用 Adam 作为优化器, 学习率设置为 10 , 并且每 10 轮降低为原来的 0.1 倍, 一阶和
−6
二阶矩估计的指数衰减率分别是 0.9 和 0.98, L2 正则化参数为 0.001, 训练轮次设置为 30 次迭代. 参数 α 对于 MirFlickr
数据集设置为 0.5, 对于 NUS-WIDE 数据集设置为 0.25. CTRH 使用 SGD 优化器, 对特征提取的主干网络 AlexNet
−4
−4 −3 2×10 . 在
学习率设置为 10 , 哈希层和重构层的学习率设置为 10 , 弱监督标签赋权模块的学习率为 MirFlickr
数据集, α = 0.5 ε = 0.7, 而在 NUS-WIDE 数据集上 α = 0.25 ε = 0.9. 其他参数两个数据集上均设置为: λ 1 = λ 3 = 1,
,
,
,
λ 2 = 10 λ 4 = 15.
3.4 实验结果分析
由于目前基于弱监督学习的深度哈希图像检索方法较少, 因此除了弱监督的方法之外, 还与 3 种无监督的方
法进行比较. 为了公平起见, 所有方法的主干网络均使用 AlexNet 来提取特征, 本文所提方法的视觉分支不会使用
到任何 CLIP 模型的图像特征. 哈希码的长度分别设置为 16 bits、32 bits、48 bits 和 64 bits. 各方法在两个数据集
中不同哈希码长度的 mAP@all 如表 1 所示. 其中, 最优结果已加粗表示.

表 1 CTRH 和其他方法在两个数据集上的 mAP@all (%)

MirFlickr NUS-WIDE
类别 方法 主干网络
16 bits 32 bits 48 bits 64 bits 16 bits 32 bits 48 bits 64 bits
LSH 56.23 57.75 57.72 59.13 36.34 38.25 40.21 42.67
传统无监督哈希方法 SH － 59.54 58.73 58.78 58.96 41.16 43.84 42.47 41.75
ITQ 64.82 65.57 66.03 66.17 54.32 56.16 56.94 57.35
WDHT 66.43 68.62 69.43 69.02 55.92 63.34 60.72 62.34
MGRN 69.78 70.45 70.81 70.60 62.08 63.52 64.13 64.01
深度弱监督哈希方法 EWSH AlexNet 70.12 71.63 71.83 72.08 64.32 64.14 65.08 64.87
WSHRCA 72.03 72.76 73.79 72.91 65.95 67.41 68.09 68.23
CTRH 72.21 74.03 75.38 75.37 67.79 67.63 68.49 68.96

从实验结果中可以看出, 本文方法 CTRH 在不同哈希码长度设置中对于两大通用数据集 MirFlickr 和 NUS-
WIDE 的检索结果均要优于现有的深度弱监督哈希方法. 在 MirFlickr 数据集中, 本文方法对比目前该领域效果最好
的方法在不同哈希码长度的设置下均有一定提升, 平均提高了 1.4%. 由此可见, 引入 CLIP 模型可以有效引导弱监督
标签的优化. 并且随着哈希码长度的增加, 本文发现 CTRH 模型对比其他方法的提升也逐渐升高, 这说明了本文方
法为哈希码的表示提供了更多有意义的信息. 其中, 当哈希码长度为 48 bits 时取得了最好的平均检索精度. 这也说
明哈希码的长度并不是越长越好, 64 bits 长度的哈希码中可能存在一些冗余的信息, 使得其精度并不如 48 bits 的哈
希码. 对于更加复杂的 NUS-WIDE 数据集中, 本文方法在不同哈希码长度的设置下也平均提高了 0.8%. 其中, 在哈
希码长度为 16 bits 时提升了 1.9%, 但是随着哈希码长度的增加, 提升幅度均低于平均水平. 这可能是因为 NUS-
WIDE 数据集的图片内容更为复杂, 这使得模型在视觉分支中提取到更多的冗余特征, 从而影响整体的哈希学习.
对于用户而言, 在所有检索返回项中大家更加关心的是前一部分的检索结果, 因此在检索任务中前 5 000 个返
回结果的平均精度 mAP@5000 是更加重要的评价指标, 如表 2 所示. 其中, 最优结果已加粗表示.

表 2 CTRH 和其他方法在两个数据集上的 mAP@5000 (%)

MirFlickr NUS-WIDE
类别 方法 主干网络
16 bits 32 bits 48 bits 64 bits 16 bits 32 bits 48 bits 64 bits
LSH 57.24 59.19 60.03 62.53 41.09 47.17 52.69 57.81
传统无监督哈希方法 SH － 60.17 62.76 63.66 63.59 56.02 63.62 62.81 62.38
ITQ 70.15 71.47 71.99 72.21 65.98 66.90 67.56 68.72
WDHT 70.83 74.32 74.91 74.70 60.64 69.51 70.39 68.86
MGRN 75.35 76.51 77.04 76.89 73.59 76.85 78.04 78.55
深度弱监督哈希方法 EWSH AlexNet 75.29 76.99 77.57 78.16 72.26 73.72 75.86 77.37
WSHRCA 78.08 79.22 80.32 79.46 75.66 77.80 78.68 79.81
CTRH 78.80 82.66 83.33 82.98 78.19 78.50 78.98 80.61