明星换脸av

Robert Bossy博士作《知识图谱提取的评估指标:前沿探索》学术报告
发布日期 2025-11-05 浏览次数

(图文|辛西 编辑|信息 审核|夏静波)11月4日上午,由明星换脸av 主办的2025年第二十七期Happy Hour活动——题为《Evaluation metrics of Knowledge Graph Extraction》的学术报告,在一综B316会议室举行。此次报告特别邀请法国国家农业、食品与环境研究院(INRAE)高级研究员Robert Bossy博士主讲。

报告伊始,Robert博士指出,KGE的核心目标是将非结构化文本转化为结构化、可计算的知识图谱(Text → Graph),其中节点为实体,边为实体间关系。为衡量抽取质量,必须依托“固定文档集 + 金标准知识图谱(Gold KG)”开展系统性评估。他归纳了当前主流指标:Accuracy、Precision、Recall、F1、Slot Error Rate 以及基于语义相似度的图结构匹配度,并强调“图谱忠实度”——即抽取结果与原文陈述的一致性——是科学可重复性的关键。

随后,Robert博士以INRAE长期主导的Bacteria Biotopes(BB)任务为例,展示了KGE评估在真实场景中的落地路径。BB任务聚焦“微生物-生境-表型”三元组抽取,节点类型包括Microorganisms、Habitats、Phenotypes,边类型为Lives_in、Exhibits。自BioNLP Shared Task 2011起,BB连续4届设立评测赛道,2016年起正式引入KGE评测。Robert博士团队从PubMed摘要与全文抽取语料,通过最大化生物多样性采样,构建跨年度、跨物种的Gold KG,为社区提供公开基准。

针对“金标准缺失”这一普遍难题,Robert博士提出“跨域迁移评估”策略:当目标领域缺乏标注时,可寻找语义相近的替代语料(如用水稻基因标注评估玉米基因抽取),通过distant corpus预测并人工核验,实现无金标准情况下的性能估计。实验表明,该方法在MaizeLitBase、PestCLEF等农业知识图谱项目中取得与全标注相关系数>0.85的可靠性。

在大型语言模型(LLM)时代,Robert博士分享了INRAE与Bibliome小组的最新实验:对GPT-4o-mini、Kimi、DeepSeek-V3、Qwen3.0等模型在BB-KGE任务上的零样本抽取结果进行宏观评测。初步数据显示,DeepSeek-V3取得最高F1(0.72),但所有模型在实体归一化/链接环节表现波动大,边缘类型间差异最高达0.3,提示“后归一化”仍是LLM-based KGE的瓶颈。Robert博士呼吁社区共建“可解释、可复现、可比较”的评估协议,推动信息抽取成为真正的科学工程学科。

互动环节,师生展开了深入交流。