知识图谱入门

前言

从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。知识图谱的相关概念和应用也成为学术界、工业界所关注的一大方向。

基于移动互联网的发展，万物互联成为了可能，这种互联所产生的相关数据正在爆发式增长，而这些数据恰好是分析关系的有效原料。以往的智能分析往往更专注于每一个个体上，在移动互联网时代则除了个体，这种个体之间的关系也必然成为我们需要深入分析的很重要一部分。简言之，只要有分析关系的需求，知识图谱就有施展的空间。

定义

学术上定义知识图谱本质上是语义网络（Semantic Network）的知识库。换个角度，从实际应用的角度出发，可以简单地把知识图谱理解成多关系图（Multi-relational Graph）。在知识图谱里，我们通常用“实体（Entity）”来表达图里的节点、用“关系（Relation）”来表达图里的“边”。实体指的是现实世界中的事物比如人、地名、概念、药物、公司等，关系则用来表达不同实体之间的某种联系。

表示方式

语义网络（Semantic Network）是由Quillian于上世纪60年代提出的知识表达模式，其用相互连接的节点和边来表示知识。节点表示对象、概念，边表示节点之间的关系。

语义网络的优点：

1. 容易理解和展示。

2. 相关概念容易聚类。

语义网络的缺点：

1. 节点和边的值没有标准，完全是由用户自己定义。

2. 由于缺乏统一标准，多源数据融合比较困难。

3. 无法区分概念节点和对象节点。

4. 无法对节点和边的标签进行定义。

RDF（Resource Description Framework）的提出解决了语义网络的缺点1和缺点2，它是由很多的三元组（Triples）来组成。在节点和边的取值上做了约束，制定了统一标准，为多源数据的融合提供了便利。另外，RDF对is-a关系进行了定义。在语义网技术栈中，RDFS和OWL是RDF更上一层的技术，主要是为了解决语义网络的缺点3和缺点4，其提供了schema层的描述。通过RDFS或者OWL中的预定义词汇，我们可以形式化地声明一个类。RDFS和OWL这两种技术或者说模式语言/本体语言（Schema/Ontology Language）解决了RDF表达能力有限的困境。RDFS/OWL都是用来描述RDF数据的。本质上是一些预定义词汇构成的集合，用于对RDF进行类似的类定义及其属性的定义。

RDF，RDFS/OWL的提出，使得语义网克服了语义网络的缺点。目前来看，RDF主要还是用于学术的场景，在工业界我们更多的还是采用图数据库的方式。

（属性图）

知识抽取

知识图谱的构建是后续应用的基础，而构建的前提是需要把数据从不同的数据源中抽取出来。对于垂直领域的知识图谱来说，它们的数据源主要来自两种渠道：一种是业务本身的数据，这部分数据通常包含在公司内的数据库表并以结构化的方式存储；另一种是网络上公开、抓取的数据，这些数据通常是以网页的形式存在所以是非结构化的数据。

对于非结构化的数据，我们会采用NLP相关技术进行知识抽取：

a. 实体命名识别（Name Entity Recognition）  

b. 关系抽取（Relation Extraction）  

c. 实体统一（Entity Resolution）  

d. 指代消解（Coreference Resolution）

命名实体抽取会将文本中覆盖的实体进行抽取，并归类到预定义好的大类中。然后根据文本中关系型描述，对实体间进行关系抽取，对应到RDFS框架预定义的关系大类中。完成这两步，已经可以将抽取的实体和关系以图的形式进行知识呈现了。

实体统一，有些实体写法上不一样，但其实是指向同一个实体。比如“NYC”和“New York”表面上是不同的字符串，但其实指的都是纽约这个城市，则需要进行合并。实体统一不仅可以减少实体的种类，也可以降低图谱的稀疏性（Sparsity）；另一个问题是指代消解，文本中出现的代词“it”, “he”, “she”到底指向哪个实体，比如在本文里两个被标记出来的“it”都指向“hotel”这个实体。

现阶段无论是垂直领域还是通用领域的实体抽取和关系抽取技术都相对成熟，实体统一和指代消解则是目前知识图谱应用中需要攻克的难题。

总结

首先，知识图谱是一个比较新的工具，它的主要作用还是在于分析关系，尤其是深度的关系。在业务上，首先要确保它的必要性，其实很多问题可以用非知识图谱的方式来解决。其次，知识图谱领域一个最重要的话题是知识的推理。知识推理是从弱人工智能走向强人工智能的必经之路。但目前很多从语义网络的角度讨论的推理技术（如基于深度学习、概率统计等）在实际的垂直应用中难以落地。更主流的方式还是基于一些规则的方法论，除非我们有非常庞大的数据集。最后，知识图谱工程本身还需以业务为重心，以数据为中心，不要低估业务和数据的重要性。

参考文献：

https://zhuanlan.zhihu.com/p/38056557