版权所有 © 北京瑞风协同科技股份有限公司  
京ICP备16029927  

新闻中心

一种基于机器学习的自动文档标签图谱技术

分类:
市场活动
浏览量:

【工业软件学习营】第一期第3讲

【工业软件学习营】总第53讲,于2021年3月19日如期举行,本期讲师是瑞风协同技术总监,具有20余年软件开发和架构设计经验,参与多个领域的设计仿真平台、材料库、知识库系统建设,重点研究方向为大数据技术和人工智能技术,专注于文本挖掘技术、自然语言处理技术在知识库自动构建、知识自动分类、知识智能推送、知识关联挖掘、知识图谱方面的应用研究。

本期课程重点分为以下四个方面:知识图谱技术发展趋势、基于机器学习的标签图谱技术思路、关键技术分析、典型应用案例分享。

 

一、知识图谱技术发展趋势

1. 知识图谱

(1)定义

知识图谱:是一种规模非常大的语义网络系统,是海量文本知识挖掘最常见的手段之一。知识图谱旨在描述真实世界中存在的各种实体或概念及其关系,一般用三元组表示。知识图谱亦可被看作是一张巨大的图,节点表示实体或概念,而边则由属性或关系构成。

  

 

(2)发展历程

知识图谱的发展分为起源、发展、繁荣三个阶段。

  

 

(3)应用

目前,知识图谱在金融、医疗、教育、司法等多个行业领域广泛应用。

金融行业:反洗钱、反欺诈等

  

 

医疗行业

  

 

教育行业

  

 

司法:知识图谱在司法中能解决证据索引、类案推送、结果预判、证据分析、文书生成和智慧调解

  

 

(4)重要作用

知识图谱具有获取、表示和处理知识的能力,是人类心智区别于其它物种心智的重要特征,且已成为推动机器基于人类知识来获取认知能力的重要途径,并将逐渐成为未来智能社会的重要生产资料。

知识图谱是人工智能的基石,包括感知层与认知层。知识图谱推动人工智能的应用,是强人工智能发展的核心驱动力之一。

(5)知识图谱的特点

特点:

适用范围:面向文本知识和数据

数据方面:要求具备一定的数据量

知识内容:对知识的宽度、深度有要求,视具体业务情况

要求数据标注:机器学习的前提,越多越好

需要业务专家评估结果的准确性

通用性较差:不同行业效果差异很大

技术复杂:涉及业务、信息、网络、人工智能、算法、图形和大数据等多个方面

2. 知识图谱面临多方面的挑战

(1)数据方面的挑战:多源数据的歧义多、噪声大,数据关联性不明确

(2)算法挑战:现有算法知识抽取准确性、算法性能和算法可解释性的挑战(各行业不一样)

(3)基础知识库的挑战:知识库融合、垂直领域知识库构建、基础知识库不开放

(4)开发工具的挑战:全生命周期平台的缺失、算法工具专家间人机协同需要提升、基于文本的知识图谱构建工具性能弱、跨语言语系的挑战、知识图谱中间件缺乏

(5)隐私、安全方面的挑战

(6)测试认证方面的挑战

(7)商业模式与人才相关的挑战

(8)标准化方面的挑战

3. 工业领域文档知识特点

知识图谱在通用领域得到广泛的应用与发展,但在工业领域的应用却不是很多,这与工业领域的行业特点、专业性、保密性和复杂性有关。

(1)原始文档知识数据庞大、格式繁多:知识获取很复杂、技术难度高、成本高、时间长

(2)年增长速度很快、存储分散

(3)专业性太强:与具体的场景关联很强

(4)公开的工业知识库很少

(5)保密性强:知识传播、共享有限制

(6)专业学科多,知识应用复杂:通用性不强,成本高

4. 工业领域知识图谱面临的问题

与传统通用领域不同,工业领域的知识图谱在知识获取、知识应用方面存在较大的困难,总结起来主要有以下几点:

工业知识获取技术难度高、投入大、周期长

小批量、小样本下的知识图谱如何生成

知识图谱的准确度问题

与结构化数据的知识融合问题

缺乏标准化的知识图谱平台:任意扩展算法、语种、专业学科

自主可控问题

 

二、基于机器学习的标签图谱技术思路

1. 标签的定义与意义

(1)标签定义:是知识内容高度抽象、高度概括的具现化,是知识某个维度的特征。它具有丰富的含义和内涵,内容简单、明了。

(2)标签作用:分类、快速查找、快速了解、用户画像、产品画像……

(3)标签在工业领域中的意义:

具备常规标签功效和能力

专业性:专业术语、词汇、主题……

是工业知识图谱基于知识运维模式的重要方法之一:标签可以认为是关键词、主题、事件

2. 标签应用

标签应用:非常广泛,比如知识分类、信息关联、用户画像、产品画像、数据统计挖掘等。以客户管理为例,客户管理是制定六大目标的相关标签体系,可以实现精确客户营销,产生最大客户价值。

3. 标签体系构建方法

(1)三大原则:

放弃大而全的框架,以业务场景倒推标签需求

标签生成自动化,解决效率和沟通成本

有效的标签管理机制

(2)建立一个完整的标签体系需要注重四点:

  

 

4. 标签示例

  

电商标签体系示例

  

知识三维标签体系示例

 

5. 基于标签图谱的技术思路

(1)思路重点:标签代替实体

(2)影响准确度的因素:

预处理结果质量

标签实体识别

关系抽取

AI算法优化

业务协同程度

(3)基于知识运维的知识图谱特点:原始数据少、通过迭代逐步丰富数据、通过迭代校正图谱中的错误、逐步把专家头脑中的知识挖掘出来,特别注重人机协同。

  

 

三、关键技术分析

1. 智能标签技术

(1)技术要点:基于人工智能算法,从单个文档里提取若干个内容特征词作为文档的内容标签

(2)标签目的:为下一步内容标签实体处理、标签实体关系和标签应用提取做准备

(3)专业要求:

提供专业词汇库、术语库、近义词/同义词库可以提高专业性(必填项)

通过预设标签和编码,可以规范标签名称,缩小标签范围

通过预设关联词之间的关系和权重,可以精确语义理解,消除二义性

通过人工标注,可以提高准确性(可选项)

在标签使用过程中,可以人工纠错(类似人工标注,小样本知识图谱常用的手段)

2. 标签关系抽取技术

常规知识图谱要素:实体、关系、方向

标签知识图谱要素:与常规知识图谱类似

标签=实体

关系:按常规方法抽取

方向:按常规方法抽取

标签图谱类似关键词图谱、主题图谱

自动化:辅以人工标注(工作量小、简单)

3. 标签图谱存储与可视化技术

图谱结构:三元关系,即对象A-关系-对象B

图谱存储:RDBMS数据库或图数据库

图谱检索:以标签为基础,也可以是一段文字

可视化:ECHART图表等,与具体的图谱数据没有直接关系,扩展能力强

 

四、典型应用案例分享

1. 基于试验知识文档的标签知识图谱需求

背景:

在某试验单位试验设计师的工作电脑上,存放着多年与试验相关的参考文档。虽然已对其进行初步分类,整理成多个分件夹和子文件夹,但有些文件夹下文档比较多,而有些文件夹下仅有一个文档,同时每年都在不停地更新,这会造成使用时的不便,我们可以将其归纳为以下几点主要问题:

麻烦:每次查找资料时不能一下全部找到,需要按文件夹逐层往下找

效率低:每次查看文档时,必须要打开文档大概看一遍,才知道里面是否有想要的内容

专业性不精确:与试验相关的资料越来越多,专业性越来越强,文件夹命名已不能体现文档的内容

信息孤岛现象严重:想要的内容分散在不同的文档里,不能在多个文档中快速找到想要的内容

需求:提供一个工具或方法,能快速解决上述问题

2. 试验参考文档分析

(1)源文档分析

文档总数:3500多篇

目录个数:82个

二三级目录有不少

多种文件格式:WORD、PDF、TXT

涉及专业比较宽:试验、大数据、云计算、试验件、试验方案和试验报告等

试验相关的文献占一半左右

(2)试验类文档分析

业务类:31个目录,647个文献

数据类:11个目录,982个文献

文档分布不均:有的多,有的少

(3)技术思路

总体思路:采用基于机器学习的自动文档标签图谱技术来解决

理由:

文档覆盖面比较宽,但细分类的文档数量太少,最少的仅有一篇文档,不适合大规模知识图谱技术

文档在不断更新,但更新的数量不会很多

使用者是业务专家,有足够的资历、能力来协助工人智能自动打标签、生成知识图谱

使用者可以随时纠正图谱中的错误

主要步骤:

文本预处理

知识文档语义化

智能自动打标签

校正智能标签准确性

自动标签图谱

校正标签图谱的准确性

预处理要点与结果展示:

必须把文档里的图片、表格单独抽取出来做特殊处理

注意论文竖排版面格式

表格里的数据需要单独处理

 

  

 

3. 试验知识文档智能标签

智能自动标签:预设标准化的试验标签与编码,由人工智能根据文档内容来决定对标预设的标签,通过多种标签提取算法综合分析来决定合适的标签(默认前10个)。在试验专业术语、词汇、同近义词辅助下,准确率高达90%以上。

4. 试验标签知识图谱

(1)图谱生成

基于中文语法、词性和句子成分,采用先进、成熟的标签实体关系抽取算法来抽取关系,标签实体构成图谱“三元”关系。

  

地面模型试验图谱示例

 

(2)准确性提升

试验数据方面:

试验辅助词库:专业术语、同义词、近义词、关联词

二义性消除:通过关联词权重规则

扩大关联词范围:人工给出小部分,大部分由人工智能给出,然后由人工确定是否选用为关联词

通过专业工具对两竖排排版的文献进行单独处理

技术方面:

选用多种算法综合比较分析,择优选择标签并排序

辅助人工标注、学习,提升准确性

 

如果您对我们的课程感兴趣,欢迎扫描下方二维码进行听课!

 

文章部分图片来源于网络