研究论文
黄雨馨, 常志军, 钱力, 曲云鹏, 郭丹, 李文文, 吴垚葶, 王浩霖
[目的/意义] 在科技文献中,插图与文本作为两种常见且互补的信息呈现方式,共同构成知识传播的重要组成部分。通过识别文献中的插图及其关联文本,实现多模态信息的整合与利用,进而提升科技文献的知识挖掘与检索效率,对科技文献资源建设以及多模态知识服务发展具有重要意义。[方法/过程] 提出一个针对科技文献中插图知识单元构建向量库的方法,从插图知识单元识别的准确性、完整性和关联性3个维度设计模型;在此基础上,设计向量表征和存储方式进一步构建插图向量库;最终,基于所构建的论文插图向量库,搭建论文插图检索系统,实现科技文献的多模态知识服务。[结果/结论] 基于提出的方法,插图知识单元识别的F1值为84.1%,论文插图和关联文本片段识别的F1值分别为99.5%、89.0%,并成功抽取化学化工领域的120万篇科技论文,构建百万级论文插图检索系统,为多模态知识挖掘及知识服务提供基础支撑。