Page 136 - 《软件学报》2026年第3期
P. 136

王可 等: 面向批量更新的向量索引召回率优化                                                          1099


                 7.81%  和  6.75%. 在其他各组索引参数下, 查询召回率也均有不同程度的提升, 最大的上升幅度为                    12% (M=48, efC=
                 100, efSearch=100, 相似数据占比为  5%).

                  1.00                          1.00                         1.00
                  0.95                Batch Opt  0.95               Batch Opt  0.95              Batch Opt
                  0.90                          0.90                         0.90
                  召回率  0.85                    召回率  0.85                    召回率  0.85
                  0.80                          0.80                         0.80
                  0.75                          0.75                         0.75
                  0.70                          0.70                         0.70
                      1 000  2 000  3 000  4 000  5 000  1 000  2 000  3 000  4 000  5 000  1 000  2 000  3 000  4 000  5 000
                      (1%)  (2%)  (3%)  (4%)  (5%)  (1%)  (2%)  (3%)  (4%)  (5%)  (1%)  (2%)  (3%)  (4%)  (5%)
                              相似向量数量                       相似向量数量                       相似向量数量
                    (a) ෬ႄҕඔ  M=48, efC=100, efSearch=100  (b) ෬ႄҕඔ  M=48, efC=100, efSearch=150  (c) ෬ႄҕඔ  M=48, efC=100, efSearch=200
                   1.00                         1.00                         1.00
                   0.95                         0.95                         0.95
                                      Batch Opt                     Batch Opt                    Batch Opt
                   0.90                         0.90                         0.90
                  召回率  0.85                    召回率  0.85                    召回率  0.85
                   0.80
                                                                             0.80
                                                0.80
                   0.75                         0.75                         0.75
                   0.70                         0.70                         0.70
                   0.65                         0.65                         0.65
                   0.60                         0.60                         0.60
                      1 000  2 000  3 000  4 000  5 000  1 000  2 000  3 000  4 000  5 000  1 000  2 000  3 000  4 000  5 000
                      (1%)  (2%)  (3%)  (4%)  (5%)  (1%)  (2%)  (3%)  (4%)  (5%)  (1%)  (2%)  (3%)  (4%)  (5%)
                              相似向量数量                       相似向量数量                       相似向量数量
                    (d) ෬ႄҕඔ  M=24, efC=64, efSearch=100  (e) ෬ႄҕඔ  M=24, efC=64, efSearch=150  (f) ෬ႄҕඔ  M=24, efC=64, efSearch=200
                  1.00                          1.00                         1.00
                  0.95                          0.95                         0.95                Batch Opt
                  0.90                Batch Opt  0.90               Batch Opt  0.90
                                                0.85
                                                                             0.85
                  0.85
                  召回率  0.80                    召回率  0.80                    召回率  0.80
                  0.75
                                                0.75
                                                                             0.75
                  0.70                          0.70                         0.70
                  0.65                          0.65                         0.65
                  0.60                          0.60                         0.60
                  0.55                          0.55                         0.55
                      1 000  2 000  3 000  4 000  5 000  1 000  2 000  3 000  4 000  5 000  1 000  2 000  3 000  4 000  5 000
                      (1%)  (2%)  (3%)  (4%)  (5%)  (1%)  (2%)  (3%)  (4%)  (5%)  (1%)  (2%)  (3%)  (4%)  (5%)
                              相似向量数量                       相似向量数量                       相似向量数量
                    (g) ෬ႄҕඔ  M=16, efC=32, efSearch=64  (h) ෬ႄҕඔ  M=16, efC=32, efSearch=100  (i) ෬ႄҕඔ  M=16, efC=32, efSearch=150
                                               图 11 MSong  数据集的平均召回率

                   0.95                         0.95                         0.95
                   0.94                         0.94                Batch Opt  0.94              Batch Opt
                   0.93                Batch Opt  0.93                       0.93
                   0.92                         0.92                         0.92
                  召回率  0.91                    召回率  0.91                    召回率  0.91
                                                0.90
                                                                             0.90
                   0.90
                   0.89
                                                                             0.88
                   0.88                         0.89                         0.89
                                                0.88
                   0.87                         0.87                         0.87
                   0.86                         0.86                         0.86
                   0.85                         0.85                         0.85
                       900  1 800  2 700  3 600  4 500  900  1 800  2 700  3 600  4 500  900  1 800  2 700  3 600  4 500
                       (1%)  (2%)  (3%)  (4%)  (5%)  (1%)  (2%)  (3%)  (4%)  (5%)  (1%)  (2%)  (3%)  (4%)  (5%)
                              相似向量数量                       相似向量数量                       相似向量数量
                     (a) ෬ႄҕඔ  M=24, efC=64, efSearch=100  (b) ෬ႄҕඔ  M=24, efC=64, efSearch=150  (c) ෬ႄҕඔ  M=24, efC=64, efSearch=200
                                               图 12 Enron  数据集的平均召回率

                    考虑到   Enron  数据的维度较高 (1 396  维), 其对索引参数较为敏感, 即在不同索引参数下的召回率水平差异较
                 大, 实验中选择固定索引参数 (M=24, efC=64), 召回率水平约为           90%. 在  Enron  数据集上, 本文方法同样表现出了
                 召回率提升的效果. 当       efSearch  分别为  100、150  和  200  时, 由  M=24, efC=64  构建索引的平均召回率的上升幅度
                 分别为   3.37%、2.95%  和  2.74%, 其中最大的上升幅度为     5.36% (M=48, efC=100, efSearch=100, 相似数据占比为
                 2%). 在  Enron  数据集上, 随着相似数据占比的增加, 相较于         Batch  场景, 本文优化方法减小了召回率的波动, 使得
                 召回率的变化更加平稳. 综上所述, 本文方法在多个数据集上都展现出较好的效果, 体现了在批量更新相似向量场
                 景下, 本文方法优化索引召回率的能力.
   131   132   133   134   135   136   137   138   139   140   141