NLP日记 - 2019年1月22日

NLP定义,NLP绪论

想法

李开复:未来AI的整个产业链也会从CV走进NLP。

笔记

NLP定义

“自然语言处理可以定义为研究在人与人交际中以及再人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力(linguistic competence)和语言应用(linguistic performance)的模型,建立计算框架来实现这样的语言模型,提出相应的方法来不断完善这样的语言模型,根据这样的语言模型设计各种实用系统,并探讨这些使用系统的评测技术。—— Bill Manaris《从人-机交互的角度看自然语言处理》”

NLP绪论

NLP的两个学派:基于规则的理性主义、基于统计的经验主义。

自然语言处理问题一般会涉及自然语言的

  • 形态学(morphology),研究词的内部结构,包括曲折变化和构词法两个部分。
  • 语法学(syntax),为什么一句话可以这么说,也可以那么说?
  • 语义学(semantics):这个语言单位到底说了什么?
  • 语用学(pragmatics):为什么在特定的上下文中要说这句话?

核心问题:歧义消解、未知语言现象的处理策略。

NLP领域里程碑式成果

  • 复杂特征集和合一语法的提出;
  • 语言学研究中词汇主义的建立;
  • 语料库方法和统计语言模型的广泛运用。

瓶颈问题:大规模语言知识的开发和自动获取。

语料库建设和统计学理论将成为该领域中研究的关键课题。