三门峡预应力砼钢绞线 ICLR 2026 Oral|多模态常识图谱对王人难: 破解噪声关联至为重要

在数据类型日益多元化的时间配景下，实验寰宇中的东说念主、事、物皆可通过多种模态进行记载与呈现。在此趋势动下，多模态常识图谱（MMKG）[1,2] 行为种集成文本、图像、结构化干系等多模态数据的信息载体，大要、地为千般多模态卑鄙应用提供数据撑抓。行为构建常识图谱的中枢工夫，实体对王人辛苦于于从不同开头的图谱中识别同实体，从而诞生跨图谱关联并促进图谱融。

但是，实验生涯中，大界限常识图谱的关联与融非蹴而就，往往濒临着噪声关联和潜隐关联的双重挑战。如图 (a) 和 (c) 所示，试念念以下场景：

噪声关联：当你试图为「海」杰森・莫玛关联图像，却因为的视觉同样度，将张演员徐锦江的像片进行了上传；当你以为名字度同样的 Mr. & Mrs. Smith 和 Will Smith and Mrs. Smith 是同个实体时，其实是电影《史小姐配头》与好意思国明星「威尔・史小姐配头」。

潜隐关联：当模子念念找到足球阐明员 C 罗，却发现搜索到实体的图像果然是「葡萄牙国旗」，于是以为并不是念念查询的「东说念主」。殊不知，这恰是 C 罗的国籍。

近日，来自四川大学的磋商团队揭示了上述表象在大界限常识图谱中无为存在，并有缓解了噪声关联和潜隐关联对实体对王人的负面影响，有望动大界限常识图谱的关联与融。当今，该论文被机器学习顶会 ICLR 2026 领受为了 Oral。

论文标题：Learning with Dual-level Noisy Correspondence for Multi-modal Entity Alignment

配景与挑战

多模态实体对王人（MMEA）[3,4] 旨在识别异构常识图谱中的同实体，而图谱中的每个实体都与各式属（如结构化信息、图像和文本形容）关联联。为诞生异构常识图谱的关联，现存法三门峡预应力砼钢绞线先会根据实体内关联（实体 - 属关联）来融多模态属，以赢得实体表征，然后根据跨图谱关联（实体 - 实体关联，属 - 属关联），进行实体层面和属层面的跨图谱对王人来甩掉各异。

但是，现存法时时假定实体内和跨图谱的关联都是正确的，忽略了常识图谱中无为存在的噪声关联问题。据统计，部分基准测试中有过 50 的实体受噪声关联问题影响。如图 1 (b) 所示，噪声关联不仅会龙套实体内的属融，还会误跨图谱对王人经过，这两面身分都将致模子能显耀着落。

除了噪声关联表象外，现存的多模态实体对王人模子时时仅依赖浅层同样度来判断关联进度，忽略了模子理时往往存在看似不同但本体疏通的属，如图 1 (c) 所示，这些潜隐关联往往会影响实体对王人的准确。

图 1：噪声关联和潜隐关联暗示图，以及二者关联的不雅察实验。

针对噪声关联和潜隐关联挑战，本文提倡了 RULE，主要孝敬如下：

揭示了多模态常识图谱中的噪声关联问题，从多属融和跨图谱对王人两个层面探索了噪声关联的负面影响。

在测试时引入关联理模块，来确保准确的实体识别，最初在实体对王人域探索增强测试时鲁棒。

为历练现存法的鲁棒诞生了统的基准测试，涵盖 5 个无为应用的数据集。

法

本文筹商了系列法来缓解噪声关联和潜隐关联对多模态实体对王人模子的负面影响。具体而言，团队先提倡了统的准则来量化实体内和跨图谱关联的可靠度，在西宾时遴选鲁棒的多属融和跨图谱对王人战略来缓解噪声关联的负面影响，在测试时使用了关联理模块来挖掘潜隐关联，终收场准确的实体对王人。

图 2：RULE 的框架图

1） 可靠度建模

2） 鲁棒的跨图谱对王人和多属融

基于建模的关联可靠度，团队提倡了鲁棒的跨图谱对王人和多属融，钢绞线厂家用于缓解噪声关联在这两面的负面影响。

鲁棒的跨图谱对王人：如图 2 所示，RULE 遴选基于 Dirichlet 漫衍的把柄学习 [5] 来化跨图谱关联，

鲁棒的多属融：在可靠度建模部分，团队量化了实体 / 属对的可靠度，接下来需要估量实体内关联的可靠度。团队不雅察到，关于正确的实体 - 实体关联而言，诞妄的实体 - 属关联定会致诞妄的属 - 属关联。因此，跨图谱属 - 属关联的可靠度大要用于识别诞妄的实体 - 属关联。关于正确的实体 - 实体关联而言，团队遴选如下的鲁棒多属融式来赢得实体表征，

3） 测试时关联理三门峡预应力砼钢绞线

为了挖掘看似不同但本体疏通的属，团队提倡了测试时关联理模块，驾御多模态大模子（MLLM）的内蕴常识来鼎新属 - 属关联，进而擢升跨图谱实体对王人的准确率。具体而言，MLLM 理得到的对王人成果如下：

实验成果

本文提倡的 RULE 旨在克服多模态实体对王人中的噪声关联和潜隐关联挑战。为了好地磋商 RULE 的鲁棒，团队参考噪声关联 [6,7]/ 标签 [8] 学习域无为遴选的战略，通过东说念主工注入噪声的式构建了加严苛的评估环境。

具体而言，团队在以下三个维度注入东说念主工噪声：

实体 - 实体噪声关联：在已对王人的实体对中，当场遴荐个实体替换为不同实体，龙套原始对王人干系；

实体 - 属噪声关联：将现时实体的视觉和文本属当场再行分拨给不同实体，模拟属标注诞妄；

属 - 属噪声关联：对视觉和文本属注入噪声，模拟属层面的噪声干预。

表 1：不使用名字属时的能相比

表 2：所有属时的能相比

部分实验成果如下：

根据表 1-2，本文提倡的 RULE 在不同噪声水平下均阐明出不凡的鲁棒，先于现存 SOTA 法，这证明 RULE 大要有地缓解噪声和潜隐关联问题。即使在不特等注入噪声的情况下，RULE 仍是收场了大幅能擢升，这考据了实验寰宇数据联接多数存在噪声和潜隐关联问题。

图 3 跨图谱关联的可靠度漫衍

图 4 实体内关联的可靠度可视化

图 5 测试时关联理模块的可视化

根据图 3-4，提倡的可靠度量化战略不仅大要有诀别跨图谱的正确关联和噪声关联，并且大要识别出不成靠的属，从而促进鲁棒跨图谱对王人和多属融。此外，根据图 5，测试时关联理模块大要有挖掘出图像属之间的潜在关联，从而擢升实体对王人的准确率。

回想与预测

本文提倡的 RULE 探索了多模态实体对王人任务中的噪声关联和潜隐关联问题，从多属融、跨图谱对王人和测试时理三个层面揭示了两者的负面影响，并超过构建了评估法鲁棒的基准测试，为后续磋商提供了实验不雅察和评估体系。

值得注重的是，本使命是将噪声关联学习范式引入多模态实体对王人任务上的次得胜尝试，拓展了噪声关联界说的外延，即实体内和跨图谱两个层面的噪声关联。

此外，本使命揭示了现存检索 / 对王人法的固有症结，即依赖特征同样进行匹配，未能入挖掘实体间的潜在干系，相配是潜隐关联确切存在于所有的多模态任务中，而团队提倡的关联理机制有望为关联磋商带来启发。

参考文件

[1] Ye Liu, Hui Li, Alberto Garcia-Duran, Mathias Niepert, Daniel Onoro-Rubio, and David S Rosenblum. Mmkg: Multi-modal knowledge graphs. In ESWC, 2019.

[2] Shichao Pei, Lu Yu, Guoxian Yu, and Xiangliang Zhang. Rea: Robust cross-lingual entity alignment between knowledge graphs. In KDD, 2020.

[3] Liyi Chen, Ying Sun, Shengzhe Zhang, Yuyang Ye, Wei Wu, and Hui Xiong. Tackling uncertain correspondences for multi-modal entity alignment. NeurIS, 2024.

[4] Zhuo Chen, Jiaoyan Chen, Wen Zhang, Lingbing Guo, Yin Fang, Yufeng Huang, Yichi Zhang, Yuxia Geng, Jeff Z Pan, Wenting Song, et al. Meaformer: Multi-modal entity alignment transformer for meta modality hybrid. In ACM Multimedia, 2023a.

[5] Murat Sensoy, Lance Kaplan, and Melih Kandemir. Evidential deep learning to quantify classification uncertainty. In NeurIPS, 2018.

[6] Mouxing Yang, Zhenyu Huang, Peng Hu, Taihao Li, Jiancheng Lv, and Xi Peng. Learning with twin noisy labels for visible-infrared person re-identification. In CVPR, 2022.

[7] Zhenyu Huang, Mouxing Yang, Xinyan Xiao, Peng Hu, and Xi Peng. Noise-robust vision-language pre-training with positive-negative learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024b.

[8] Nagarajan Natarajan, Inderjit S Dhillon, Pradeep K Ravikumar, and Ambuj Tewari. Learning with noisy labels. In NeurIPS, 2013.

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述三门峡预应力砼钢绞线，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。