Page 146 - 《软件学报》2026年第3期

江宇轩 等: 权重残差向量量化: 向量压缩与分层索引结构 1109

作为一种权衡措施, 每个量化码字额外附加一个标记位, 以指示该向量的实际权重, 即其原始残差长度. 这一
策略确保了残差向量的标准化, 使得码本训练更加稳定, 同时通过标记信息保留了向量的权重信息. 在该优化方案
下, 对于目标向量的量化, WRVQ 量化器可以表示为如下形式:

n ∑ i ∏
q(x) = quantized i × d j (8)
i=0 j=0
这种方法的优势在于通过对残差进行缩放处理, 确保所有残差的长度保持均匀. 在码本训练过程中, 不再需要
区分具有相同方向但不同长度的残差, 这显著增强了量化器对残差的量化能力. 更为关键的是, 该方法有效防止了
随着量化轮次的增加, 量化后的残差变得越来越稀疏的问题. 通过这种方式, 量化器的每一层都面对相同类型的量
化对象, 从而最大化了其区分能力. 最后, 随着量化轮次的增加, 残差的绝对长度逐渐减小, 导致量化器的“系统误
差”也随着残差的归一化得以解决.
在从码字中重构原始向量的过程中, 当从码本中查询到与某个码字对应的向量后, 我们根据相关的标记位进
一步对该向量进行缩放. 最后, 所有与每个码字对应的缩放向量将相加, 最终得到原始向量. 通过这种方法, 我们从
根本上解决了传统 RVQ 方法中的缺点, 即随着码本数量的增加, 量化能力下降的问题. 此策略显著提升了 RVQ
的量化准确率.
图 2 展示了 WRVQ 量化的总体流程. 在对输入的向量表征进行量化之后, WRVQ 会对量化残差进行归一化
处理, 并记录标记位, 以确保下一轮量化器的量化对象为单位向量. 因此, 对于每一层量化器, WRVQ 会生成两个
码字. 在图右侧的码字部分, 浅色部分表示残差的长度, 而深色部分则表示残差的方向, 指向码本中的一个单位向
量. 这种设计能够有效地保留残差的方向信息, 同时, 通过标记位管理长度信息, 在这一迭代权重优化过程中, 提升
量化过程的准确性和效率.

i+1 迭代向量
[0] [1] [2] [3] [4] [5] … [n−1] [n]
v i v i v i v i v i v i v i v i 语义向量嵌入
语义向量
量化结果
[0] [1] [2] [3] [4] [5] … [n−1] [n] 向量量化 45
r i r i r i r i r i r i r i r i
残差向量
i−1…计算 i+1…迭代计算
1 25 0.4 45 …
[0] [1] [2] [3] [4] [5] … [n−1] [n]
Nr i Nr i Nr i Nr i Nr i Nr i Nr i Nr i 向量归一化
0.4
归一化的残差向量 权重
[0] [1] [2] [3] [4] [5] … [n−1] [n]
r i+1 r i+1 r i+1 r i+1 r i+1 r i+1 r i+1 r i+1
迭代向量 (i+1)
图 2 权重优化的向量量化表征

在 WRVQ 量化管理下, 每一个码字均维护了一个半精度浮点数和一个码字表示, 当假设原向量维度为 d, 码
字长度为 n, 码本大小为 s. WRVQ 的量化比如公式 (9) 所示. 新方法引入对残差向量的模长 (即公式中的权重) 进
行建模, 实现了比传统 RVQ 更高的量化保真度. 我们不仅考虑了方向 (由码字选择决定), 也兼顾了长度信息. 在相
同码字长度下, WRVQ 的量化比约为 RVQ 的 1/3 左右, 但仍然可以将高维向量在损失极低的情况下压缩成极短
的码字表示.

d
c WRVQ = (9)
n×(16+log s)
2
3 基于权重量化表征的索引构建与检索

3.1 非对称的向量距离计算
我们在向量嵌入和量化编码的距离计算中采用了非对称距离计算方法. 它与对称距离计算 (symmetric distance