常识资讯
168体育平台下载常识知识库整合
168体育平台下载常识知识对于许多AI应用十分重要,包括自然语言处理,计算机视觉和规划相关的任务。于是乎,在过去若干年中,业界设计并构建了众多包含常识知识的知识源。近期,研究重点集中在大型基于文本的资源上,这些资源使得神经(语言)模型及其在文本任务上的应用更加易于整合,这一目的通常以牺牲资源的语言为代价。以上做法限制了资源间协作,不利于理解他们之间的覆盖和差异,并且可能在下游任务中妨碍知识的语义对齐。整合常识知识的努力已经收获了一些成功,但仍未有一个清晰的路径来阐明对现有常识知识的完整整合过程。
作者们以常识的定义作为整个工作开始,实验性的从Wikidata构建的知识库中抽取常识知识,并通过对齐关系的形式,将这一些常识知识合并到现有的ConceptNet常识库中。在实验中,尽管抽取的常识仅占Wikidata的一小部分,但也足以说明这一类百科图谱中仍蕴含定义内的常识知识;此类常识与现有常识库中知识并没有很大的重叠,也因此整合常识库是有意义的;相对于Wikidata的迭代速度,常识库的更新速度略慢,但是常识也同样受Wikidata不多扩容的影响,且也发现这种扩容是与具体关系类别相关的。
文章试图围绕常识知识的一系列常见维度来组织这些资源。因此,作者从与关系相关的独特视角展开,广泛调查了常见的常识资源。作者将这些关系归类为13个知识维度,每一种都是从源中某几个更加具体的关系抽象而来。这一整合方式允许我们统一各个孤立的源,并计算他们在知识维度之间的覆盖范围、重叠和差距。更近一步的,作者分析了各个维度对需要常识知识的下游任务的影响,并发现temporal和desire/goal维度对当前下游任务中的推理十分重要,而distinctness和lexical知识影响有限。以上结果也表明当前的测评仅关注某些维度,而此外的维度会被忽略。
常识知识是一系列信息,这一些信息涵盖了人类最为广泛的知识,并且帮助人类理解每一天中的各种事务。(在作者们的工作中,使用了更具统计意义的指标来衡量常识,即在大规模自然预料中该实体的出现频率)
概念,并非实体(Concepts, not entities):常识知识的定义具体表现在概念知识与实体知识(实例)之间的不同。通俗来讲,大部分概念知识是常识,同时绝大部分的实体知识则不是。比如,“房子(house)有房间(room)”是一个常识,因为这一知识常见且广泛适用;而“凡尔赛宫有700间房间”则不是,因为它更关注于具体的实例,而并非为大多数人所知。
平凡性(Commonness):知识蕴含的概念应该被绝大多数人所知。“集装箱(container)被用于存储(storage)”则是一条常识知识,“*坏疽性口炎(noma)是口疮性口炎(aphthous stomatitis)*的一种”因为更多的专业知识而不被大众所知。
一般性知识(General-domain knowledge):常识知识更具一般性,而非专业领域中的专家知识,比如化学和医学领域。然而,在某一类型的知识中,一些关系实例描述更一般的信息,而另一部分则需要专业知识。比如,“组成”关系可被用来描述一系列常识(车轮组成汽车),而“胆固醇组成细胞膜”这一知识更加专业。
简而言之,就是将两个蕴含常识的知识源,通过一定的对齐手段,整合为同一知识库。对于常识知识的筛选,有如下三个指导性策略:
剔除非常识(Excluding named entities):参考源知识库的命名规则,如Wikidata中英文的实体名为大写,而概念为小写;利用本体数据,从本体中抽取概念结点;图谱中的instance_of/subclass_of关系也可以作为参照。此外,可以通过检查边两侧的结点是否为概念进而剔除非常识。
衡量平凡性(Characterizing commonness):主要使用词频来刻画平凡性。单一知识源数据是有限的,为了减轻非常识信息对衡量平凡性的干扰,可以使用预计算的词频统计(wordfreq);另一方面,常识中普遍出现的关系分布应该更加广泛,实践中使用频次来选出top-k种关系,以此作为候选知识;此外,由于知识中属于常识关系的数量较少,引入人工判别这一些关系是否符合常识定义。
剔除域知识(Excluding domain knowledge):专业领域的概念词汇以黑名单的形式参与剔除,以确保候选知识中不包含这一类知识。
以上,筛选出了绝大多数认知上的常识知识。而两个知识库中的关系映射,由人工对齐。从可行性来说,常识库中的关系较少,并有完整的描述,靠少量人力即可完成对齐工作;从性能角度上来讲,尽管仍可能有错误对齐的存在,但可以通过多人协作、多次审核的策略将错误率降到最小,且可靠性普遍大于自动化方案。
此外,知识库一般由三元组的形式组织,关系出现的频次多,同样也表明其对知识的贡献大,也因此选取适量的TopK个关系对齐,也可以进一步节省人力。同时,并不是所有关系都能找到其对应,或者有些谓词关系的头尾实体顺序是颠倒的,这两点也是需要明确的。
如图1所示,为文献1中提供的关系对应表,作者尝试从知名百科知识库Wikidata中提炼常识,并向常识库进行对齐。假定从A(Wikidata)知识库向B(ConceptNet)知识库进行对齐,可以看到,这一些关系存在多对一,即多个A中的关系对应同一个B中的关系;但是反过来却不成立,因为对齐会存在二义性,并没有现成的方案将A的关系进行拆解成若干子关系与B相对应;此外也存在B中关系仅是A中关系的一个子集的情况。也因此,这些针对不同粒度的关系划分值得进一步研究和设计。
此外,在文献1的工作中未见对实体进行对齐。同语言间的数据库可能影响不大,但跨语言的数据库整合仍然得进一步探讨。也因此,知识库间的实体整合工作仍停留在常识的判别和关系谓词的对齐上,还缺乏实体对齐手段,此类技术可以借助实体链接、图谱补全以及实体表示学习的相关工作进行进一步的探讨。
ConceptNet中包含piano包含按键,并可以弹奏音乐的知识,能够排除图2中的答案2;而在WordNet中,piano被标记为通过按键弹奏;Visual Genome则指出在弹奏piano时,演奏者坐在琴前并将手放在按键上;而在更具有自然语言风格的表述中,ATOMIC将这一过程描述为坐在琴前,在舞台上,并伸手触碰琴键;而在FrameNet中演奏者和听众是两个不同的实体,可被用来为答案3提供反例。由此,不同常识库间在逻辑推理中互补作用可见一斑。
高质量的概率链接(Generate high-quality probabilistic links):除了知识库中包含的链接,一些由知识图谱补全工作提供的概率链接(实体间的边,以及其对应的置信度)
对标签进行访问(Enable access to labels):知识库往往会对结点提供文本描述,比如标注或者同义词
对于作为各个源的常识知识库,需要具体情况具体分析。有意思的是,在WordNet-Wikidata的关系对齐任务中,提到一种边的添加的方案。总而言之,比较结点间的语义相似度(embedding方案),提供候选的近似结点对,并进行人工验证。需要注意的是Wikidata蕴含的知识量级巨大,也催生了此种自动化对齐/边生成方案。
有趣的并不是所有常识知识都对下游任务有效,也就是说不同类别的常识知识间对同一下游任务的影响存在可见的差异性表现。在文献3中,作者对这一现象进行了深入的分析。如图3,作者为各常识库中存在的关系进行了分类,并以此为标准对常识知识进行了分析。
也许,可以更加细粒度的分析每一条常识对推理工作的贡献,其实并不是每一条常识都是推理所必须的,或是仍有常识没有被收录,致使下游任务的错误;或是该类常识的量级对推理也是有影响的,并非类别本身造成的推理差异;又或者是常识任务的涉及对知识所涉类别有所偏好,这些影响也应该被考虑在内。
最后,常识知识的整合工作仍然刚刚开始,同时其相关子任务也没有被明确划分,这也导致此类工作的性能难以被科学且公平衡量。人力仍然是常识库构建的主力,自动化的对齐工作仍然是有所欠缺的。此外,跨语言的常识库对齐还见有相关尝试,语言间的尝试表达差异仍未被明确的指出,同语言与跨语言常识整合之间是否有明确差异,这一点还有待考虑。