语言学基础

自然语言处理(NLP)作为人工智能的重要分支，其核心是让计算机理解、解释和生成人类语言。要掌握NLP，首先需要了解支撑人类语言运作的基本原理 - 这就是语言学基础。

语言学基础为 NLP 提供了理论框架和分析工具，主要包括以下几个关键方面：

  1. 语音学(Phonetics)：研究语言的声音系统
  2. 音系学(Phonology)：研究声音如何组合形成有意义的语言单位
  3. 形态学(Morphology)：研究词的内部结构
  4. 句法学(Syntax)：研究句子结构
  5. 语义学(Semantics)：研究语言的意义
  6. 语用学(Pragmatics)：研究语言在语境中的使用

语音学与音韵学（Phonetics & Phonology）

语音学（Phonetics）

语音学研究语音的物理特性和产生机制，关注语音的声学和生理特征。

发音器官与发音方式

  • 发音器官：
    • 肺部：提供气流
    • 喉头：声带振动产生浊音
    • 口腔：舌头、牙齿、嘴唇调节气流
    • 鼻腔：产生鼻音

辅音分类
按照发音方式和发音部位分类：

  • 发音方式：

    • 塞音：/p/, /b/, /t/, /d/, /k/, /g/
    • 擦音：/f/, /v/, /s/, /z/
    • 塞擦音：/ts/, /tʃ/
    • 鼻音：/m/, /n/, /ŋ/
    • 边音：/l/
    • 颤音：/r/

  • 发音部位：

    • 双唇音：/p/, /b/, /m/
    • 唇齿音：/f/, /v/
    • 舌尖音：/t/, /d/, /n/
    • 舌根音：/k/, /g/, /ŋ/

元音分类
按照舌位和唇形分类：

  • 舌位高低：高元音/i/, /u/，中元音/e/, /o/，低元音/a/
  • 舌位前后：前元音/i/, /e/，央元音/a/，后元音/u/, /o/
  • 唇形：圆唇音/u/, /o/，不圆唇音/i/, /e/, /a/

汉语语音特点

  • 声调语言：声调具有区别意义的作用
    • 普通话四个基本声调：阴平、阳平、上声、去声
    • 例：妈(mā) 麻(má) 马(mǎ) 骂(mà)
  • 音节结构：声母+韵母的结构
    • 声母：21个基本声母
    • 韵母：39个基本韵母

音韵学（Phonology）

音韵学研究语音系统的结构和规律，关注语音在特定语言中的功能。

音位（Phoneme）

  • 具有区别意义功能的最小语音单位
  • 例：英语中/p/和/b/是不同音位（pit vs bit）
  • 汉语中声调是音位的组成部分

音位变体（Allophone）

  • 同一音位在不同环境中的语音实现
  • 例：英语/p/在不同位置的送气程度不同

音韵规则

  • 描述语音在特定环境中的变化规律
  • 例：汉语的"一"字变调规律
  • 英语的复数形式语音变化：cats /s/, dogs /z/, horses /ɪz/

在NLP中的应用

  • 语音识别：将声音信号转换为文本
  • 语音合成：将文本转换为语音
  • 音字转换：拼音到汉字的转换
  • 韵律分析：诗歌韵律的计算分析

形态学（Morphology）

形态学研究词的内部结构和构词规律，是词汇层面分析的基础。

基本概念

词素（Morpheme）

  • 语言中最小的有意义的语法单位
  • 自由词素：可以独立使用的词素，如"书"、"run"
  • 粘着词素：必须附着在其他词素上，如前缀、后缀

词根、词缀和词干

  • 词根（Root）：词的核心意义承载者
    • 例：在"unhappiness"中，"happy"是词根
  • 词缀（Affix）：
    • 前缀（Prefix）：un-, re-, pre-
    • 后缀（Suffix）：-ness, -tion, -ly
    • 中缀（Infix）：较少见，如他加禄语
  • 词干（Stem）：去掉屈折词缀后的形式

构词方式

派生（Derivation）

  • 通过添加派生词缀改变词性或词义
  • 例：
    • happy → unhappy（添加否定前缀）
    • happy → happiness（名词化后缀）
    • teach → teacher（施事后缀）

复合（Compounding）

  • 将两个或多个词根结合成新词
  • 英语例子：
    • blackboard（black + board）
    • laptop（lap + top）
  • 中文例子：
    • 电脑（电 + 脑）
    • 手机（手 + 机）

屈折（Inflection）

  • 改变词的语法形式但不改变基本词义
  • 英语动词变位：walk, walks, walked, walking
  • 名词复数：book → books, child → children
  • 中文的屈折变化相对较少

中文形态学特点

词的概念

  • 中文词的边界相对模糊
  • 字、词、短语的界限不如英文明确
  • 例："研究生"可以是一个词，也可以分析为"研究"+"生"

构词方式

  • 复合为主：

    • 偏正式：火车（火+车）
    • 动宾式：司机（司+机）
    • 主谓式：地震（地+震）
    • 并列式：朋友（朋+友）

  • 重叠构词：

    • 动词重叠：看看、走走
    • 形容词重叠：红红的、慢慢地
    • 名词重叠：人人、事事

词类活用

  • 同一个字或词可以充当不同词性
  • 例："水"可以是名词（喝水）或动词（水稻田）

在NLP中的应用

词干提取（Stemming）

  • 将词汇还原到词干形式
  • Porter算法：将"running", "runs", "ran"都还原为"run"

词形还原（Lemmatization）

  • 将词汇还原到词典形式（引理）
  • 考虑词性信息，更准确

中文分词

  • 由于中文词间无空格分隔，需要进行分词处理
  • 基于词典、统计或神经网络的方法

词性标注

  • 确定每个词的语法类别
  • 为句法分析提供基础信息

句法学（Syntax）

句法学研究句子的结构和组织规律，是理解语言语法的核心。

基本概念

短语结构

  • 名词短语（NP）：以名词为中心的短语
    • 例：那本有趣的书
  • 动词短语（VP）：以动词为中心的短语
    • 例：快速地跑步
  • 介词短语（PP）：以介词为中心的短语
    • 例：在桌子上
  • 形容词短语（AP）：以形容词为中心的短语
    • 例：非常美丽

句子成分

  • 主语（Subject）：动作的执行者
  • 谓语（Predicate）：描述主语的动作或状态
  • 宾语（Object）：动作的承受者
  • 定语（Attributive）：修饰名词的成分
  • 状语（Adverbial）：修饰动词、形容词的成分
  • 补语（Complement）：补充说明的成分

句法分析方法

短语结构文法（Phrase Structure Grammar）

  • 用重写规则描述句子结构
  • 例： 
    S → NP VP
NP → Det N
VP → V NP
Det → the, a, an
N → cat, dog, book
V → chase, read

依存文法（Dependency Grammar）

  • 以词与词之间的依存关系为核心
  • 每个词依存于一个中心词（除了根节点）
  • 例：在"小猫追老鼠"中：
    • "追"是根节点
    • "小猫"依存于"追"（主谓关系）
    • "老鼠"依存于"追"（动宾关系）
    • "小"依存于"猫"（定中关系）

树形表示

        追
       /  \
     小猫   老鼠
     /
    小

中文句法特点

语序特点

  • 基本语序：主-谓-宾（SVO）
  • 修饰语在被修饰语前：的字结构
  • 例：那个穿红衣服的美丽女孩

特殊结构

  • 把字句：把+宾语+动词
    • 例：我把书放在桌子上
  • 被字句：主语+被+施事者+动词
    • 例：书被我放在桌子上
  • 存现句：表示存在或出现
    • 例：桌子上放着一本书

语法化程度

  • 中文的语法化程度相对较低
  • 词序和语境在表达语法关系中起重要作用
  • 缺乏丰富的形态变化

句法分析的挑战

歧义问题

  • 结构歧义：一个句子可以有多种句法分析
  • 例："我看见了拿着望远镜的人"
    • 分析1：我用望远镜看见了人
    • 分析2：我看见了一个拿着望远镜的人

长距离依赖

  • 句子成分之间的依赖关系可能跨越很大距离
  • 例：在问句"什么书你昨天买了？"中，"什么"与"买"之间存在依赖关系

省略现象

  • 中文经常省略主语或其他成分
  • 例：（我）昨天看了电影，（电影）很好看

在NLP中的应用

句法分析器

  • 基于规则：使用手工编写的语法规则
  • 统计方法：基于标注语料库的概率模型
  • 深度学习：使用神经网络进行端到端学习

句法树库

  • Penn Treebank（英文）
  • 中文树库（CTB）
  • 为句法分析提供训练和评估数据

应用任务

  • 机器翻译：理解源语言句法结构
  • 信息抽取：基于句法模式抽取信息
  • 问答系统：理解问句的句法结构

语义学（Semantics）

语义学研究语言的意义，是自然语言理解的核心。

基本概念

词汇语义

  • 词义：词汇所表达的概念或意义
  • 多义性：一个词有多个相关意义
  • 同义关系：不同词汇表达相同或相似意义
  • 反义关系：词汇间的对立关系
  • 上下位关系：概念间的包含关系

语义关系

  • 同义词（Synonyms）：
    • 完全同义：较少见
    • 近义词：快乐-高兴，大-巨大
  • 反义词（Antonyms）：
    • 互补反义：死-活，男-女
    • 等级反义：冷-热，大-小
    • 关系反义：老师-学生，买-卖
  • 上下位词：
    • 上位词：动物、颜色
    • 下位词：狗、猫（动物的下位词）

句子语义

命题（Proposition）

  • 句子所表达的基本语义内容
  • 例：句子"小明在图书馆看书"表达的命题：
    • 施事者：小明
    • 动作：看
    • 受事者：书
    • 地点：图书馆

语义角色（Semantic Roles）

  • 施事者（Agent）：动作的执行者
  • 受事者（Patient）：动作的承受者
  • 工具（Instrument）：完成动作所使用的工具
  • 地点（Location）：动作发生的地点
  • 时间（Time）：动作发生的时间
  • 方式（Manner）：动作的方式

论元结构（Argument Structure）

  • 动词所要求的语义参与者
  • 例：动词"给"要求三个论元：
    • 给予者（施事）
    • 接受者（与事）
    • 给予物（受事）

语义表示

逻辑表示

  • 使用逻辑公式表示语义
  • 一阶逻辑：∃x (人(x) ∧ 高兴(x))
  • 例：句子"有人很高兴"的逻辑表示

框架语义学（Frame Semantics）

  • 基于认知框架理解语义
  • FrameNet项目：构建基于框架的语义资源
  • 例：商业交易框架包含买方、卖方、商品、价格等要素

概念图

  • 使用图结构表示概念和关系
  • 节点代表概念，边代表关系
  • 适合表示复杂的语义网络

语义歧义

词汇歧义

  • 一词多义：银行（金融机构/河岸）
  • 同音异义：他们/它们

结构歧义

  • 修饰歧义："漂亮的女孩的衣服"
  • 范围歧义："所有学生都不及格"

语用歧义

  • 需要上下文才能确定意义
  • 例：代词指代、省略成分的恢复

在NLP中的应用

词汇语义资源

  • WordNet：英文词汇语义网络
  • HowNet：中文词汇语义知识库
  • 同义词词林：中文同义词分类体系

语义分析任务

  • 词义消歧：确定多义词在特定上下文中的含义
  • 语义角色标注：识别句子中的语义角色
  • 语义相似度计算：计算词汇或句子间的语义相似度

应用领域

  • 问答系统：理解问题的语义意图
  • 机器翻译：保持翻译的语义一致性
  • 信息检索：基于语义进行相关性匹配

语用学（Pragmatics）

语用学研究语言在具体交际情境中的使用，关注语境对意义的影响。

基本概念

语境（Context）

  • 语言语境：上下文信息
  • 情景语境：交际的具体情境
  • 文化语境：社会文化背景

言语行为理论（Speech Act Theory）

  • 言内行为：说话行为本身
  • 言外行为：通过说话要达到的目的
  • 言后行为：说话产生的效果

言外行为类型

  • 断言类：陈述事实，如"今天下雨了"
  • 指令类：要求行动，如"请关门"
  • 承诺类：承诺未来行动，如"我明天来"
  • 表达类：表达态度，如"恭喜你"
  • 宣告类：改变现状，如"我宣布会议开始"

语用现象

指示语（Deixis）

  • 依赖语境才能确定所指的语言成分
  • 人称指示：我、你、他
  • 时间指示：现在、昨天、明天
  • 空间指示：这里、那里、上面
  • 语篇指示：如上所述、综上所言

预设（Presupposition）

  • 说话者假定听话者已知的信息
  • 例："小明的妻子很漂亮"预设小明已婚

含义（Implicature）

  • 会话含义：通过违反合作原则产生的隐含意义
  • 例：A："你知道几点了吗？" B："知道。"
    • B的回答违反了量准则，暗示不愿透露时间

合作原则（Cooperative Principle）

  • 量准则：提供适量信息
  • 质准则：说真话
  • 关系准则：说相关的话
  • 方式准则：表达清楚

中文语用特点

礼貌策略

  • 中文非常注重礼貌原则
  • 使用委婉语和敬语
  • 例：请问、麻烦您、不好意思

高语境文化

  • 依赖语境理解意义
  • 话语含蓄，不直接表达
  • 例：中文的拒绝常常是间接的

面子理论

  • 积极面子：被认可的需要
  • 消极面子：不被打扰的需要
  • 影响言语行为的选择

在NLP中的应用

对话系统

  • 意图识别：理解用户的真实意图
  • 槽位填充：提取对话中的关键信息
  • 对话管理：控制对话流程

情感分析

  • 隐含情感：识别间接表达的情感
  • 反讽检测：理解反话的真实含义

机器翻译

  • 语用等价：保持原文的语用功能
  • 文化适应：考虑目标语言的文化特点

中文语言特点

中文作为汉语系的代表，具有独特的语言特点，这些特点为中文NLP带来了特殊的挑战和机遇。

分词的必要性

无空格分隔

  • 中文词与词之间没有明显的分界符
  • 例：「我爱北京天安门」需要分解为「我/爱/北京/天安门」
  • 与英文等语言的天然分词不同

词的概念复杂

  • 字、词、短语的界限模糊
  • 例：「研究」可以是一个词，「研究生」也可以是一个词
  • 上下文影响分词结果

分词歧义

组合歧义

  • 同一字符序列可以有不同的分词方式
  • 例：「结婚的和尚未结婚的」
    • 错误分词：结婚的/和尚/未结婚的
    • 正确分词：结婚的/和/尚未/结婚的

交集歧义

  • 相邻的分词方案有重叠
  • 例：「长春市长春药店」
    • 方案1：长春市/长春/药店
    • 方案2：长春/市长/春药店

真歧义

  • 不同分词结果都在语法和语义上合理
  • 例：「乒乓球拍卖完了」
    • 方案1：乒乓球拍/卖完了
    • 方案2：乒乓球/拍卖/完了

分词方法

基于词典的方法

  • 最大匹配算法（正向、逆向、双向）
  • 优点：简单高效
  • 缺点：无法处理歧义和未登录词

基于统计的方法

  • N-gram语言模型
  • 隐马尔可夫模型（HMM）
  • 条件随机场（CRF）

基于深度学习的方法

  • 双向LSTM + CRF
  • BERT等预训练模型
  • 字符级神经网络

汉字、词汇与语法结构

汉字特点

方块字结构

  • 汉字具有方形的视觉特征
  • 每个字占据等宽的空间
  • 字形、字音、字义的统一

象形表意特征

  • 象形字：日、月、山、水
  • 指事字：上、下、本、末
  • 会意字：明、休、信
  • 形声字：占汉字的80%以上，如：江（氵+工）

多音多义现象

  • 一字多音：行（xíng/háng）、长（cháng/zhǎng）
  • 一字多义：「打」有击打、购买、制作等多种含义

词汇特点

构词方式丰富

  • 单纯词：不能拆分，如：桌子、葡萄
  • 合成词：由两个或多个语素组成
    • 复合式：电脑、手机
    • 附加式：第一、老师

词汇语义透明度高

  • 从组成汉字可以推测词义
  • 例：「洗衣机」= 洗 + 衣 + 机
  • 有助于理解新词和术语

词类转换灵活

  • 同一词汇可以充当不同词性
  • 例：「水」
    • 名词：喝水
    • 动词：水田
    • 形容词：水平很水（口语）

语法结构特点

语序相对固定

  • 基本语序：主-谓-宾（SVO）
  • 定语在中心语前：红色的花
  • 状语在谓语前：慢慢地走

语法手段多样

  • 语序：改变词序表达不同意思
  • 虚词：的、地、得、了、着、过等
  • 重叠：看看、走走、红红的

语法化程度低

  • 缺乏丰富的词形变化
  • 动词无时态、语态的形态变化
  • 名词无格变、数的一致性要求

中文NLP的特殊挑战

文本预处理挑战

分词困难

  • 歧义消解需要语义理解
  • 新词识别困难
  • 专业领域词汇识别

简繁转换

  • 一简对多繁：后（後/后）
  • 一繁对多简：髮（发/髪）
  • 地区用词差异：计算机/电脑

编码问题

  • 多种编码方式：GB2312、GBK、UTF-8
  • 编码转换可能导致信息丢失

语言变体处理

方言差异

  • 语音、词汇、语法的地区差异
  • 例：北京话的"倍儿"、上海话的"阿拉"
  • 影响语音识别和文本理解

文体差异

  • 古文与现代文
  • 正式语体与口语
  • 网络用语和流行语

港澳台用语

  • 用词习惯不同：的士/出租车、巴士/公交车
  • 语法结构差异：有冇（有没有）
  • 外来词处理：音译vs意译

语义理解挑战

语境依赖性强

  • 代词指代复杂
  • 省略现象频繁
  • 需要更多上下文信息

文化内涵丰富

  • 成语、典故的理解
  • 文化特有概念：面子、关系
  • 传统文化背景知识

语言使用灵活

  • 语序变化：把字句、被字句
  • 表达方式多样：委婉、含蓄
  • 语用原则的文化特色

文本的层次结构

文本作为语言的载体，具有多层次的结构特征。理解这些层次结构对于设计有效的NLP系统至关重要。

字符层面（Character Level）

基本单位

字符定义

  • 文本的最小视觉单位
  • 包括字母、汉字、数字、标点符号等
  • Unicode编码系统的基本单元

字符类型

  • 字母字符：A-Z, a-z
  • 数字字符：0-9
  • 汉字字符：Unicode范围4E00-9FFF
  • 标点符号：。，！？；：""''
  • 特殊字符：@#$%^&*等

字符级处理

编码处理

  • ASCII编码：适用于英文
  • Unicode编码：支持多语言
  • UTF-8编码：变长编码，广泛使用

字符序列模型

  • 字符级RNN：直接处理字符序列
  • 卷积神经网络：提取字符级特征
  • Transformer：自注意力机制处理字符

应用场景

  • 拼写检查：检测字符级错误
  • 文本生成：字符级语言模型
  • 低资源语言：缺乏词汇资源时的备选方案

词汇层面（Word Level）

词汇定义

词的概念

  • 具有完整意义的语言单位
  • 语法分析的基本单元
  • 在语音上具有相对独立性

词汇类型

  • 实词：名词、动词、形容词、副词
  • 虚词：介词、连词、助词、叹词
  • 功能词：the, a, is, have等高频功能性词汇
  • 内容词：承载主要意义的词汇

词汇表示

独热编码（One-hot Encoding）

  • 每个词用一个向量表示
  • 向量长度等于词汇表大小
  • 只有对应位置为1，其他为0
  • 缺点：维度高，无法表示语义相似性

词向量（Word Embeddings）

  • Word2Vec：基于神经网络的词向量
    • CBOW：根据上下文预测中心词
    • Skip-gram：根据中心词预测上下文
  • GloVe：基于全局词汇统计信息
  • FastText：考虑字符级信息的词向量

上下文词向量

  • ELMo：双向LSTM生成的上下文敏感表示
  • BERT：基于Transformer的双向编码器
  • 同一词在不同上下文中有不同表示

词汇关系

语义关系

  • 同义关系：快乐-高兴
  • 反义关系：大-小
  • 上下位关系：动物-狗

形态关系

  • 词根关系：run-running-ran
  • 派生关系：happy-happiness
  • 复合关系：black + board → blackboard

分布关系

  • 具有相似上下文分布的词汇往往语义相关
  • 例："医生"和"护士"常在相似语境出现
  • 是词向量学习的基础假设

词汇级处理

词汇规范化

  • 大小写处理：将文本统一为小写或大写
  • 词形还原：将词汇还原为词典形式（lemma）
  • 词干提取：去除词缀得到词干（stem）

停用词过滤

  • 移除高频低信息量词汇
  • 中文停用词：的、了、是、在、和等
  • 英文停用词：the, a, an, is, are等

低频词处理

  • 替换为统一标记（如<UNK>）
  • 提高模型泛化能力
  • 减少词汇表规模

应用场景

  • 信息检索：建立倒排索引
  • 文本分类：特征提取与表示
  • 机器翻译：词汇对齐与替换

短语层面（Phrase Level）

短语定义

基本概念

  • 由多个词组成的语法单位
  • 具有内部结构和外部功能
  • 围绕一个中心词展开

短语类型

  • 名词短语（NP）：以名词为中心
    • 例：一本有趣的书
  • 动词短语（VP）：以动词为中心
    • 例：正在认真阅读
  • 介词短语（PP）：以介词为中心
    • 例：在桌子上
  • 形容词短语（AP）：以形容词为中心
    • 例：非常漂亮

短语识别

基于规则的方法

  • 使用语法规则模板
  • 例：NP → (Det) (Adj) N
  • 依赖人工编写的语法规则

基于统计的方法

  • 使用n-gram模型识别常见短语
  • 基于互信息、卡方检验等统计量
  • 例："纽约时报"作为固定短语

基于深度学习的方法

  • 序列标注模型（如BiLSTM-CRF）
  • 端到端的短语检测
  • 预训练语言模型（如BERT）

短语表示

词向量组合

  • 简单平均：取组成词向量的平均值
  • 加权平均：根据词重要性分配权重
  • 递归神经网络：考虑词序的组合

短语嵌入

  • 直接学习短语级别的向量表示
  • Skip-phrase模型：类似Skip-gram
  • 短语类比任务：中国:北京::法国:巴黎

应用场景

  • 信息抽取：识别关键短语
  • 查询理解：处理搜索引擎查询
  • 情感分析：识别评价对象短语

句子层面（Sentence Level）

句子定义

基本概念

  • 表达完整意思的语言单位
  • 具有语法独立性
  • 包含主语和谓语的基本结构

句子类型

  • 陈述句：表达事实或观点
  • 疑问句：提出问题
  • 祈使句：表达请求或命令
  • 感叹句：表达强烈情感

句子表示

词向量组合

  • 词袋模型（BoW）：忽略词序的简单加和
  • TF-IDF加权：考虑词的重要性
  • 序列模型：RNN/LSTM考虑词序信息

句子嵌入

  • Skip-Thought：预测上下文句子
  • InferSent：基于监督任务的表示
  • Sentence-BERT：基于BERT的句子表示

句法结构表示

  • 依存树：表示词间依存关系
  • 成分树：表示短语结构关系
  • 图表示：结合多种关系

句子级处理

句子分割

  • 将连续文本分割为句子
  • 中文难点：句号的多功能性
  • 方法：基于规则、机器学习

句子压缩

  • 保留核心信息的简化
  • 删除冗余成分
  • 应用于摘要生成

句子改写

  • 保持语义的句式变换
  • 主动被动转换
  • 应用于数据增强

应用场景

  • 机器翻译：句子级对齐与生成
  • 文本摘要：关键句子抽取
  • 问答系统：问句理解与答案生成

篇章层面（Discourse Level）

篇章结构

基本概念

  • 由多个句子组成的连贯整体
  • 具有主题一致性和逻辑连贯性
  • 包括引言、主体、结论等结构

衔接手段

  • 指代：代词、指示词
  • 连接词：因为、所以、但是
  • 词汇衔接：重复、同义、上下位
  • 省略：承前或蒙后省略

篇章关系

  • 因果关系：因为…所以…
  • 转折关系：虽然…但是…
  • 并列关系：一方面…另一方面…
  • 时序关系：首先…然后…最后…

篇章分析

指代消解

  • 确定代词或名词短语的指代对象
  • 例："小明迟到了。他很抱歉。"中"他"指代"小明"
  • 方法：基于规则、机器学习、深度学习

主题建模

  • LDA：潜在狄利克雷分配
  • 发现文本的潜在主题分布
  • 应用于文本聚类和分类

情感轨迹分析

  • 跟踪篇章中情感的变化
  • 识别情感转折点
  • 应用于评论分析和文学研究

篇章表示

全局向量

  • 平均所有句子向量
  • 加权平均（如TF-IDF权重）
  • 层次化组合

图表示

  • 节点表示句子或概念
  • 边表示关系
  • 应用于摘要生成

记忆网络

  • 存储和检索篇章信息
  • 处理长距离依赖
  • 应用于问答系统

应用场景

  • 自动摘要：提取核心内容
  • 问答系统：多句推理
  • 文本生成：保持篇章连贯

语言模型与概率语法

语言模型基础

基本概念

语言模型定义

  • 计算词序列概率的模型
  • 评估句子的流畅度和合理性
  • 形式化描述：P(w₁,w₂,…,wₙ)

应用领域

  • 语音识别：选择最可能的词序列
  • 机器翻译：评估翻译候选
  • 文本生成：预测下一个词

N-gram模型

马尔可夫假设

  • 当前词只依赖前n-1个词
  • 简化概率计算：P(wᵢ|w₁,…,wᵢ₋₁) ≈ P(wᵢ|wᵢ₋ₙ₊₁,…,wᵢ₋₁)

模型训练

  • 最大似然估计
  • 计数与归一化
  • 平滑技术（加一、Good-Turing等）

局限性

  • 数据稀疏问题
  • 长距离依赖难以捕捉
  • 上下文信息有限

神经网络语言模型

前馈神经网络模型

基本结构

  • 输入层：前n-1个词的one-hot表示
  • 嵌入层：学习词向量
  • 隐藏层：非线性变换
  • 输出层：预测下一个词的概率分布

优势

  • 分布式表示缓解数据稀疏
  • 自动学习特征组合
  • 更好的泛化能力

循环神经网络模型

RNN结构

  • 循环处理变长序列
  • 隐藏状态传递历史信息
  • 应用于语言建模

LSTM/GRU

  • 解决梯度消失问题
  • 长距离依赖建模
  • 更稳定的训练过程

Transformer模型

自注意力机制

  • 全局上下文建模
  • 并行计算优势
  • 位置编码处理词序

预训练语言模型

  • BERT：双向上下文表示
  • GPT：自回归生成模型
  • 强大的迁移学习能力

概率语法模型

概率上下文无关文法

基本概念

  • 为CFG规则赋予概率
  • P(X → γ)表示规则应用概率
  • 句子的概率是推导路径概率的乘积

参数估计

  • 从树库中计数规则应用
  • 最大似然估计
  • 平滑处理稀疏规则

应用

  • 句法分析
  • 句子概率评估
  • 歧义消解

依存语法模型

概率依存文法

  • 为依存关系赋予概率
  • 基于词汇共现统计
  • 考虑距离和语法约束

解析算法

  • 基于图的算法（Eisner算法）
  • 基于转移的算法
  • 神经网络解析器

语言资源与标注

语料库资源

通用语料库

英文语料库

  • Brown Corpus
  • British National Corpus (BNC)
  • Corpus of Contemporary American English (COCA)

中文语料库

  • 北京大学现代汉语语料库
  • 国家语委现代汉语平衡语料库
  • 中文维基百科语料

标注语料库

词性标注语料

  • Penn Treebank
  • 中文树库(CTB)

句法树库

  • Penn Treebank
  • Chinese Dependency Treebank

语义标注语料

  • PropBank（语义角色）
  • FrameNet（框架语义）
  • Semeval（语义关系）

词汇语义资源

英文资源

WordNet

  • 同义词集合（synset）
  • 词汇关系网络
  • 广泛用于NLP研究

FrameNet

  • 基于框架语义学
  • 标注语义角色
  • 丰富的例句资源

中文资源

HowNet

  • 中英文概念词典
  • 义原分析系统
  • 语义关系网络

同义词词林

  • 中文同义词分类
  • 层次化组织结构
  • 词汇扩展资源

评估数据集

标准任务数据集

分词与词性标注

  • PKU标注语料
  • MSRA标注语料

句法分析

  • Chinese Treebank
  • CTB 5.1/6.0/7.0

语义分析

  • Chinese PropBank
  • NLPCC评测数据

应用任务数据集

文本分类

  • THUCNews
  • Fudan Corpus

情感分析

  • ChnSentiCorp
  • Weibo Sentiment Corpus

问答系统

  • NLPCC QA数据集
  • WebQA

语言学与NLP的交叉研究

计算语言学

研究领域

语音技术

  • 语音识别
  • 语音合成
  • 语音转换

语法分析

  • 自动句法分析
  • 文法归纳
  • 树库构建

语义计算

  • 词义消歧
  • 语义角色标注
  • 语义相似度

认知语言学与NLP

语言习得建模

儿童语言习得

  • 词汇增长模型
  • 语法发展模拟
  • 认知启发的NLP

神经认知模型

  • 大脑语言处理模拟
  • 神经符号系统
  • 多模态学习

语言进化建模

计算模拟

  • 词汇形成
  • 语法涌现
  • 文化传播

多智能体系统

  • 交流系统演化
  • 符号接地问题
  • 语言游戏模型

社会语言学与NLP

语言变异处理

方言识别

  • 语音特征分析
  • 词汇差异建模
  • 方言机器翻译

社会语言特征

  • 年龄、性别识别
  • 教育水平预测
  • 地域方言分析

语言政策支持

语言资源建设

  • 少数民族语言
  • 濒危语言保护
  • 多语言技术开发

语言教育技术

  • 计算机辅助学习
  • 自动作文评分
  • 个性化教学系统