a. 从数据出发,我们定义了三种具有代表性的视图,分别是:名称视图 (name view)、 关系视图 (relation view) 和属性视图 (attribute view), 如上图所示,并针对每个视图采用适当的模型进行训练; b. 针对实体对齐任务,我们从实体和关系或属性两个层面设计了跨知识图谱监督方式,来保留和丰富对齐信息 c. 提出了三种组合策略,从多个特定视图的实体表示中,获得最终的用于实体对齐任务的实体表示; d. 两个数据集上进行实验,实验表明 MultiKE 在实体对齐任务上明显优于当前已有的相关方法。
2. 论文方法 a. 首先,基于原始的图结构构建对偶关系图; b. 然后,通过原始attention层和对偶attention层进行迭代; c. 接着,通过GCN网络进一步结合结构信息; d. 最后,得到实体的向量表示,用于实体对齐任务。 实体抽取该论文的实验部分采用了JAPE的数据集DBP15K,主要对比方法有MTransE、JAPE、IPTransE、BootEA和GCN-Align,该论文所提出的方法RDGCN取得了相对较优的结果。
Entity Alignment for Cross-lingual Knowledge Graph with Graph Convolutional Networks
* 关系抽取旨在基于文本上下文识别出实体对的语义关系。这些关系通常是预先定义好的。 例如,给定实体对[ Microsoft, Bill Gates ]和 句子“Bill Gates co-founded Microsoft withhis childhood friend Paul Allen”, 我们希望抽取出关系“ founder ”。 * 传统的方法通常将关系抽取建模为分类问题或者标注问题。在这些方法中, 不同的关系标签往往被视为不同的 ID。例如,在关系分类中, 每个 ID 代表多分类问题的一个类别( class )。给定一个样本, 模型将其映射到一个或多个关系 ID 。然而,关系标签包含着非常丰富的语义信息, 这些语义信息被现有的关系抽取模型所忽略。我们认为,充分建模关系标签的语义信息 并将其作为关系分类的监督信号,有望进一步提升关系抽取性能。很显然,仅仅靠关系 标签这个词组本身很难挖掘出太多的语义信息。因此,我们需要引入额外的信息作为关系 的背景知识。 * 为了克服这一挑战,本文求助于主题模型。对于预定义关系,我们通过相应的 训练句子集合进行主题建模,进而从训练数据中挖掘出关系的主题知识。我们的基本假设是: 对于每个关系,其标注句子集合包含几个潜在主题,并且这些主题在语义上与关系是相关的。 通过主题建模,我们提取前k个带权重的主题词来表示关系的语义。因此,关系的主题知识 被具体化为带权重的词袋( weighted bag of words, WBoW )。不难理解,每个主题词都 刻画了关系的某些方面,而词的权重则刻画了它对关系的重要性。因此,一个被标注为该关系的 句子应该匹配关系的某些重要方面。
2. 方法 * 上图左边表示了应用关系的主题知识的框架流程图,主要步骤为: * 步骤1:从训练句子中检索关系r的所有句子。 * 步骤2:获取 r 的主题知识,即通过主题建模从r的标记句子集合中提取前k个加权主题词。 * 步骤3:为句子-关系对( s; r )建立深度匹配网络。 * 步骤4:基于主题知识,通过 Word Mover Distance( WMD )计算 s 和 r 之间的语义距离 d ( s,r )。 * 步骤5:根据语义距离 d ( s,r ) 计算样本的重要性权重。 * 步骤6:基于深度匹配网络和样本重要性权重建立损失函数。 * 上图右图表示了句子关系匹配网络,主要包括三个部分: * 句子学习模块 * 按照头尾实体的位置,我们将句子分成三部分。主要原因有两个。第一:在一个句子中,表达实体对关系的往往位于实体对之间。因此,每部分对于关系推理的贡献是不一样的。第二,为了后续注意力机制的处理,将句子分块可以显著提升效率。句子学习模块主要采用多头的注意力机制( multi-head self-attention )。此外,关系敏感的注意力机制( relation-awareattention )旨在将学习到的句子特征中关系敏感的部分抽取出来,从而降低噪声的影响。 * 关系学习模块 * 关系学习模块的输入是关系的主题词集合。在该模块中,我们仍采用自注意力机制。但值得注意的是,在输入词袋中我们考虑了每个词的先验权重,因此,我们希望在自注意力机制学习中将该先验权重考虑进去。这在 weighted multi-head self-attention 中实现。 * 句子关系匹配模块 * 基于学到的句子表示和关系表示,我们采用简单的全连接操作实现匹配建模
4. IJCAI-2019 NLP WorkShop的研讨热点回顾
W4 Financial Technology and Natural Language Processing (FinNLP)
1 2 3 4 5 6 7 8 9 10 11
W4: Leveraging BERT to Improve the FEARS Index for Stock Forecasting 利用BERT改进股票预测的FEARS指数 “Financial and Economic Attitudes Revealed by Search (FEARS) index reflects the attention and sentiment of public investors and is an important factor for predicting stock price return. In this paper, we take into account the semantics of the FEARS search terms by leveraging the Bidirectional Encoder Representations from Transformers (BERT), and further apply a self-attention deep learning model to our refined FEARS seamlessly for stock return prediction. We demonstrate the practical benefits of our approach by comparing to baseline works.”
W11 Semantic Deep Learning (SemDeep) 语义深度学习
W12 Big Social Media Data Management and Analysis (BSMDMA) 社交大数据的管理与分析
W16 Linguistic and Cognitive Approaches to Dialogue Agents (LaCATODA) 对话Agents的语言与认知方法
W17 Bringing Semantic Knowledge into Vision and Text Understanding 将语义知识引入视觉和文本理解
W22 Search-Oriented Conversational AI (SCAI) 面向搜索的对话Ai
W31 Language Sense on Computer 计算机语感
W45 Natural Language Processing for Social Media (SocialNLP) 社交媒体自然语言处理
1 2 3 4 5 6 7 8 9 10 11
Natural Language Processing for Social Media (SocialNLP) Ex-Twit: Explainable Twitter Mining on Health Data Ex-Twit:可解释的Twitter健康数据挖掘 “Since most machine learning models provide no explanations for the predictions, their predictions are obscure for the human. The ability to explain a model's prediction has become a necessity in many applications including Twitter mining. In this work, we propose a method called Explainable Twitter Mining (Ex-Twit) combining Topic Modeling and Local Interpretable Model-agnostic Explanation (LIME) to predict the topic and explain the model predictions. We demonstrate the effectiveness of Ex-Twit on Twitter health-related data.”