快捷搜索:

云从科技与上海交大 AAAI 入选论文解读:语义角

作者: 互联网资讯  发布:2019-11-27

上海交通大学与云从科技联合创新实验室论文《Dependency or Span, End-to-End Uniform Semantic Role Labeling》被 AAAI 2019 录用,在这篇论文中,模型通过对谓词、论元评分,以及谓词和论元的一个双仿射变换,同时实现了对谓词的识别、以及谓词与论元的联合预测。以下为对该论文的详细解读。

正文

百乐门棋牌 1

官方网址:http://www.ltp-cloud.com/

百乐门棋牌 2

哈工大讯飞语言云 由哈工大 和科大讯飞 联合研发的中文自然语言处理云服务平台。结合了哈工大“语言技术平台——LTP” 高效、精准的自然语言处理核心技术和讯飞公司在全国性大规模云计算服务方面的 丰富经验,显著提升 LTP 对外服务的稳定性和吞吐量,为广大用户提供电信级稳定 性和支持全国范围网络接入的语言云服务,有效支持包括中小企业在内开发者的商 业应用需要。

论文地址:http://bcmi.sjtu.edu.cn/~zhaohai/pubs/aaai2019-UniSRL-1113-2.pdf

  支持分词、词性标注、命名实体识别、依存句法分析、语义角色标注;

2、本文首次把目前最为有效的三大建模和机器学习要素集成到一个系统内,包括 span 选择模型、双仿射注意力机制以及预训练语言模型;

各种语言调用实例可以到Github上下载:https://github.com/HIT-SCIR/ltp-cloud-api-tutorial

例如:" 小明昨天晚上在公园遇到了小红。"

(2)修改代码:

图四 给定谓词情况下只预测论元 Span 结果

这个网址申请一个API key,稍后会用到;

1、本文报告了第一个在 span 和 Dependency 两种形式的语义角色标注的标准树库上同时获得最高精度的系统;

LTP语言云平台

百乐门棋牌 3

在运算资源有限,编程语言受限的情况下,语言云无疑是用户进行语言分析更好的选择。

图五 给定谓词情况下只预测论元 Dependency 结果

Step1:注册

百乐门棋牌 4

词性标注

与分词模块相同,我们将词性标注任务建模为基于词的序列标注问题。 对于输入句子的词序列,模型给句子中的每个词标注一个词性标记。 在LTP中,我们采用的北大标注集。

词性标注模块在人民日报数据集上的性能如下。

  • 语料信息:人民日报1998年2月-6月(后10%数据作为开发集)作为训练数据,1月作为测试数据。
  • 准确率:

      P
    开发集 0.979621
    测试集 0.978337
  • 运行时内存:291m

  • 速度:106.14k/s

此外,我们的模型通过对谓词、论元评分,以及谓词和论元的一个双仿射变换,同时实现了对谓词的识别、以及谓词与论元的联合预测(参见上图中 Biaffine Scorer 层)。我们的单一模型在 CoNLL 2005、2012(基于 Span 的数据集)和 CoNLL 2008、2009(基于 Dependency 的数据集)SRL 基准数据集上,无论是在自主识别谓词、还是在给定谓词的情况下,相比于学术上目前已知的算法,都取得了较领先的结果,尤其是在 span 数据集、给定谓词的情况下,我们的单一模型甚至在所有指标上领先于已知的 Ensemble 模型。结果可参见表二、三、四、五。

命名实体识别

与分词模块相同,我们将命名实体识别建模为基于词的序列标注问题。对于输入句子的词序列,模型给句子中的每个词标注一个标识命名实体边界和实体类别的标记。在LTP中,我们支持人名、地名、机构名三类命名实体的识别。

基础模型在几种数据集上的性能如下:

  • 语料信息:人民日报1998年1月做训练(后10%数据作为开发集),6月前10000句做测试作为训练数据。
  • 准确率

    P R F
    开发集 0.924149 0.909323
    测试集 0.939552 0.936372
  • 运行时内存:21m

百乐门棋牌 5

依存句法分析

基于图的依存分析方法由McDonald首先提出,他将依存分析问题归结为在一个有向图中寻找最大生成树(Maximum Spanning Tree)的问题。

在依存句法分析模块中,LTP分别实现了

  • 一阶解码(1o)
  • 二阶利用子孙信息解码(2o-sib)
  • 二阶利用子孙和父子信息(2o-carreras)

在LDC数据集上,三种不同解码方式对应的性能如下表所示。

model 1o   2o-sib   2o-carreras  
  Uas Las Uas Las Uas Las
Dev 0.8190 0.7893 0.8501 0.8213 0.8582 0.8294
Test 0.8118 0.7813 0.8421 0.8106 0.8447 0.8138
Speed 49.4 sent./s   9.4 sent./s   3.3 sent./s  
Mem. 0.825g   1.3g   1.6g  

我们的论文则通过提出一个统一的谓词与论元表示层,实现了将论元表示形式的统一(参见上图中的 Predicate&Argument Representation 层),因此,该模型可以接受不同论元表示形式的数据集进行训练。

有关更多语言云API的使用方法,请参考:http://www.ltp-cloud.com/document/

比如:" 小明打了小华 " 和 " 小华被小明打了 ",这两句话语义完全一致,但由于被动语态引起的主语和宾语位置上的变化,当提问 " 谁挨打了?" 时,阅读理解算法在处理这两句时,有可能会给出不同的答案。但如果我们把语义角色标注也作为阅读理解的输入信息,由于两句话中 " 小华 " 都是 " 受事者 " 角色,问题也是在问 " 受事者 " 是谁,这时阅读理解算法往往比较容易给出一致准确的答案。

  • 免安装:用户无需调用静态库或下载模型文件,只需要根据API参数集构造HTTP请求即可在线获得分析结果。在新版API中,亦不需要下载SDK。
  • 省硬件:用户不需要购买高性能的机器,即可快捷的获得分析结果。
  • 跨平台、跨编程语言:用户只需要根据所使用语言的特点发送HTTP请求即可获取分析结果,因而几乎不依赖于操作系统平台和编程语言。

" 遇到 " 是句子的谓词," 小明 " 是谓词的发起者,角色为 " 施事者 "," 小红 " 是谓词的接受者,角色是 " 受事者 "," 公园 " 是谓词的发生地点,据说是 " 处所 " 等。

命名实体识别

命名实体识别 (Named Entity Recognition, NER) 是在句子的词序列中定位并识别人名、地名、机构名等实体的任务。 如之前的例子,命名实体识别的结果是:

国务院 (机构名) 总理李克强 (人名) 调研上海外高桥 (地名) 时提出,支持上海 (地名) 积极探索新机制。

命名实体识别对于挖掘文本中的实体进而对其进行分析有很重要的作用。

命名实体识别的类型一般是根据任务确定的。LTP提供最基本的三种实体类型人名、地名、机构名的识别。 用户可以很容易将实体类型拓展成品牌名、软件名等实体类型。

百乐门棋牌 6

使用文档:http://www.ltp-cloud.com/document/

图三 端到端设置下谓词与论元联合预测 Dependency 结果

作为基于云端的服务,语言云具有如下一些优势:

语义角色标注旨在发现句子的谓词 - 论元结构。它以句子的谓词为中心,分析句子中各成分与谓词之间的关系,即句子的谓词(Predicate)- 论元结构。谓词是对主语的陈述或说明,指出 " 做什么 "、" 是什么 " 或 " 怎么样,代表了一个事件的核心,跟谓词搭配的名词称为论元。语义角色是指论元在动词所指事件中担任的角色。主要有:施事者、受事者、客体、经验者(Experiencer)、受益者(Beneficiary)、工具(Instrument)、处所、目标和来源等。

分词

中文分词指的是将汉字序列切分成词序列的问题。 因为在汉语中,词是承载语义的最基本的单元,分词成了是包括信息检索、文本分类、情感分析等多项中文自然语言处理任务的基础。

由于在自然语言处理框架中的基础地位,很多学者对于中文分词任务进行了深入的研究。 主流的分词算法包括基于词典匹配的方法和基于统计机器学习的方法。 LTP分词模块使用的算法将两种方法进行了融合,算法既能利用机器学习较好的消歧能力,又能灵活地引入词典等外部资源。

在LTP中,我们将分词任务建模为基于字的序列标注问题。 对于输入句子的字序列,模型给句子中的每个字标注一个标识词边界的标记。

同时,为了提高互联网文本特别是微博文本的处理性能。我们在分词系统中加入如下一些优化策略:

  • 英文、URI一类特殊词识别规则
  • 利用空格等自然标注线索
  • 在统计模型中融入词典信息
  • 从大规模未标注数据中统计字间互信息、上下文丰富程度

分词模块在人民日报数据集上的性能如下

  • 准确率

 

P

百乐门棋牌,R

F

开发集

0.973152

0.972430

0.972791

测试集

0.972316

0.970354

0.972433

作为自然语言处理的一项基础性任务,语义角色标注能提供上层应用的非常重要的语义信息。例如在阅读理解应用中,把语义角色标注作为输入的一部分,可以帮助阅读理解应用更加准确确定各部分的语义角色,从而提高阅读理解的准确性。

  <1>把 api_key = "YourApiKey" 中的 "YourApiKey" 修改成你Step1申请的API Key;

本文由百乐门棋牌发布于互联网资讯,转载请注明出处:云从科技与上海交大 AAAI 入选论文解读:语义角

关键词: