Page 285 - 《软件学报》2025年第12期
P. 285

5666                                                      软件学报  2025  年第  36  卷第  12  期



                                       表 15 FoodOn  与  GO  多语言模型适用性验证实验结果

                            数据集         任务          语言模型        MRR     H@1      H@5     H@10
                                                    RoBERTa     0.175   0.082    0.259   0.364
                                                   BiomedBERT   0.326   0.195    0.474   0.596
                                    类层级关系预测        chatGLM3-6B  0.192   0.097    0.281   0.394
                                                   LLaMA-2-7B   0.211   0.112    0.299   0.416
                                                     BERT       0.345   0.212    0.492   0.618
                            FoodOn
                                                    RoBERTa     0.199   0.130    0.262   0.332
                                                   BiomedBERT   0.342   0.235    0.456   0.552
                                      类属性预测        chatGLM3-6B  0.260   0.172    0.346   0.442
                                                   LLaMA-2-7B   0.231   0.149    0.313   0.390
                                                     BERT       0.354   0.256    0.465   0.548
                                                    RoBERTa     0.155   0.060    0.232   0.358
                                                   BiomedBERT   0.342   0.181    0.532   0.693
                                    类层级关系预测        chatGLM3-6B  0.222   0.108    0.325   0.475
                                                   LLaMA-2-7B   0.056   0.016    0.071   0.131
                                                     BERT       0.277   0.146    0.412   0.565
                             GO
                                                    RoBERTa     0.329   0.231    0.438   0.522
                                                   BiomedBERT   0.488   0.348    0.658   0.768
                                      类属性预测        chatGLM3-6B  0.285   0.169    0.413   0.520
                                                   LLaMA-2-7B   0.321   0.205    0.449   0.554
                                                     BERT       0.421   0.301    0.554   0.657

                  3.3.4    多类型  OWL  图谱适用性验证
                    为验证本文所提方法在面对不同垂直或通用领域                  OWL  图谱时的性能表现, 本文通过知识表示学习任务对其
                 进行测试, 本节选取      IB2M  和  DBpedia-20k  开展相应实验, 结果如表   16、表  17  所示. 其中, IB2M  中的大多数标注
                 属性以中文为主, DBpedia-20k   以英语为主, 但包含了多种语言. 为了对比的公平性, 本节仅选取能够适用于多种类
                 型  OWL  图谱  (多语言、多领域), 同时以原始       OWL  图谱作为输入的     OWL2Vec*方法作为基线方法, 其他实验设置
                 参照第   3.1.2  节.

                                                 表 16 DBpedia-20k  实验结果

                                任务            方法          MRR       H@1       H@5       H@10
                                            OWL2Vec*      0.882     0.856     0.912     0.929
                             类实例预测
                                            MSV-KRL       0.905     0.848     0.976     0.990
                                            OWL2Vec*      0.217     0.126     0.344     0.437
                            类层级关系预测
                                            MSV-KRL       0.372     0.258     0.503     0.656
                                            OWL2Vec*      0.209     0.098     0.341     0.472
                             类属性预测
                                            MSV-KRL       0.460     0.303     0.644     0.734

                                                    表 17 IB2M  实验结果

                                任务             方法          MRR      H@1       H@5       H@10
                                             OWL2Vec*     0.351     0.131     0.681      0.949
                              类实例预测
                                             MSV-KRL      0.868     0.762     0.989      0.996
                                             OWL2Vec*     0.216     0.073     0.317      0.488
                            类层级关系预测
                                             MSV-KRL      0.380     0.268     0.488      0.610
                                             OWL2Vec*     0.100     0.001     0.161      0.323
                              类属性预测
                                             MSV-KRL      0.158     0.065     0.160      0.355
                                             OWL2Vec*     0.155     0.123     0.192      0.227
                           实例对象属性预测
                                             MSV-KRL      0.240     0.175     0.289      0.380
                                             OWL2Vec*     0.012     0.002     0.009      0.019
                           实例数据属性预测
                                             MSV-KRL      0.038     0.007     0.051      0.095
   280   281   282   283   284   285   286   287   288   289   290