《自然語言處理實(shí)戰(zhàn)》

《自然語言處理實(shí)戰(zhàn)》
——段方
大數(shù)據(jù)（分析） 總設(shè)計(jì)師
教授 北京大學(xué)博士后
1 自然語言處理概述
1.1 什么是自然語言處理（NLP）
1.2 NLP 的發(fā)展歷史
1.2.1 1956 年以前的萌芽期
1.2.2 1957-1970 年的快速發(fā)展期
1.2.3 1971-1993 年的低谷期
1.2.4 1994 年至今的復(fù)蘇其
1.3 NLP 發(fā)展的原因
1.3.1 互聯(lián)網(wǎng)提供了大量的語料庫(kù)
1.3.2 深度學(xué)習(xí)算法提升了精度
1.3.3 場(chǎng)景更加豐富
1.4 NLP 的價(jià)值
1.4.1 語言是信息的載體
1.4.2 構(gòu)建人機(jī)自然交互接口
1.4.3 語言翻譯、信息檢索等價(jià)值凸顯
1.4.4 市場(chǎng)規(guī)模巨大
1.5 自然語言處理的典型應(yīng)用
1.5.1 機(jī)器翻譯
1.5.2 自動(dòng)摘要
1.5.3 文本分類與信息過濾
1.5.4 信息檢索
1.5.5 自動(dòng)問答
1.5.6 信息抽取與文本挖掘
1.5.7 情感分析
1.6 機(jī)器翻譯
1.6.1 文本機(jī)器翻譯
1.6.2 語音機(jī)器翻譯
1.7 自動(dòng)摘要
1.7.1 單文檔摘要
1.7.2 多文檔摘要
1.8 信息檢索
1.8.1 基本概念
1.8.2 搜索引擎
1.8.3 【例】谷歌搜索引擎算法
1.9 自動(dòng)問答
1.9.1 基于知識(shí)圖譜的問答系統(tǒng)
1.9.2 BERT 算法
1.10 NLP 產(chǎn)品舉例
1.10.1 Google translate
1.10.2 Bing translate
1.10.3 語音輸入法
1.10.4 Siri 問答
1.11 【例】 NLP 在（電信） 客服中的應(yīng)用
1.11.1 部分替代人工
1.11.2 解決部分業(yè)務(wù)問題
1.11.3 中國(guó)移動(dòng)的例子
1.12 【例】微軟小冰的問答原理
2 自然語言處理的基本任務(wù)
2.1 語言分析
2.2 詞法分析
2.3 句法分析
2.4 語義分析
2.5 語言生成
2.6 多語言處理（機(jī)器翻譯、跨語言檢索）
2.7 NLP 在各個(gè)行業(yè)的應(yīng)用
2.7.1 教育
2.7.2 醫(yī)療
2.7.3 金融
2.7.4 法律等
2.8 【例】分詞工具——結(jié)巴、 NLPIR 、 IKAnalyzer（開源）
2.9 【例】附件-IBM 沃森介紹
3 自然語言處理的基本策略和實(shí)現(xiàn)方法
3.1 基于規(guī)則的理性方法
3.2 基于語料庫(kù)的經(jīng)驗(yàn)方法
3.3 混合方法
3.4 自然語言的分類
3.5 自然語言處理的難點(diǎn)
3.5.1 漢語處理的難點(diǎn)
3.5.2 自然語言處理涉及的學(xué)科
3.6 【附】阿里小蜜的例子
4 基于規(guī)則的自然語言處理方法
4.1 概述
4.2 詞法分析
4.3 形態(tài)還原（英語）
4.3.1 形態(tài)還原算法
4.3.2 英語詞的分類
4.4 詞性標(biāo)注/體系
4.4.1 詞性標(biāo)注方法
4.5 漢語分詞
4.5.1 切分歧義及歧義字段的種類
4.6 分詞方法
4.6.1 基于詞庫(kù)
4.7 句法分析
4.7.1 基于上下文無關(guān)語法（CFG） 的表示
4.7.2 基于 CFG 算法及過程
4.7.3 搜索策略
4.7.4 自頂向下句法分析
4.7.5 自底向上句法分析
chart parsing
4.7.6 句法分析與邏輯程序設(shè)計(jì)
4.7.7 傳統(tǒng) CFG 在描述自然語言的問題
4.7.8 基于特征的擴(kuò)展 CFG
合一文法
合一運(yùn)算
chart parsing 舉例
4.8 語義分析
4.8.1 詞匯語義
4.8.2 語義類
4.8.3 詞義間關(guān)系
4.9 句義分析
4.9.1 句義表示與語義組合
4.9.2 論旨角色與格語法
4.9.3 格語法
4.9.4 基于格語法的語義分析
4.10 【例】附件-Siri 的介紹
5 機(jī)器翻譯
5.1 機(jī)器翻譯的歷史
5.2 機(jī)器翻譯的基本策略
5.3 機(jī)器翻譯的實(shí)現(xiàn)方法
5.4 基于規(guī)則的機(jī)器翻譯
5.4.1 基于詞的轉(zhuǎn)換翻譯
5.4.2 基于句法結(jié)構(gòu)轉(zhuǎn)換的翻譯
5.4.3 基于語義轉(zhuǎn)換的翻譯
5.4.4 基于中間語言的翻譯
5.4.5 機(jī)器翻譯的現(xiàn)狀
5.5 基于語料庫(kù)的機(jī)器翻譯
5.5.1 基于實(shí)例的方法
5.5.2 基于統(tǒng)計(jì)的方法
5.5.3 基于神經(jīng)網(wǎng)絡(luò)的方法
5.6 混合法機(jī)器翻譯
5.6.1 基于規(guī)則與語料庫(kù)結(jié)合起來
5.7 【例】附件-科大訊飛的 NLP 產(chǎn)品
6 基于深度學(xué)習(xí)方法的 NLP
6.1 深度學(xué)習(xí)算法簡(jiǎn)介
6.2 詞向量模型
6.2.1 原理
6.2.2 Word2vec
6.2.3 ELMo
6.2.4 OpenAI GPT
6.3 BERT 詞向量模型
6.4 信息抽取
6.4.1 實(shí)體識(shí)別與抽取
隱馬爾可夫模型 HMM
最大熵馬爾可夫模型 MEMM 條件隨機(jī)場(chǎng)算法 CRF
6.4.2 開放式實(shí)體抽取
6.4.3 命名實(shí)體消歧
6.4.4 關(guān)系抽取
傳統(tǒng)方法
基于特征向量 基于核函數(shù)
基于神經(jīng)網(wǎng)絡(luò)
6.5 情感分析
6.5.1 情感分析的層次
6.5.2 句子級(jí)
6.5.3 詞語級(jí)
6.5.4 情感信息抽取
6.5.5 情感分析的方法
6.6 語義分析
6.6.1 詞匯級(jí)語義分析
6.6.2 詞義消歧
基于規(guī)則 基于詞典
6.6.3 詞匯級(jí)語義分析
有監(jiān)督
無監(jiān)督
6.6.4 句子級(jí)語義分析
句義分析
句子語義相似度分析
6.7 【例】附件-NLP 的調(diào)用工具（百度等）
7 自然語言處理的未來發(fā)展
7.1 下一代信息檢索
7.1.1 當(dāng)前搜索引擎的問題
7.1.2 垂直搜索
7.1.3 智能搜索
7.1.4 個(gè)性化搜索
7.1.5 跨語言信息檢索
7.1.6 多媒體信息檢索
7.2 物聯(lián)網(wǎng)與 NLP
7.2.1 5G 開啟物聯(lián)網(wǎng)
7.2.2 人與物之間的 NLP
7.2.3 萬物之間 NLP？
7.2.4 簡(jiǎn)單的指令集 or 語言集
7.3 知識(shí)獲取
7.3.1 從依賴專家到依賴用戶
7.3.2 從模型到大數(shù)據(jù)
7.4 強(qiáng)化學(xué)習(xí)的引入
7.4.1 強(qiáng)化學(xué)習(xí)方法簡(jiǎn)介
7.4.2 強(qiáng)化學(xué)習(xí)與 NLP
7.5 與知識(shí)圖譜的結(jié)合
7.5.1 知識(shí)圖譜的介紹
7.5.2 專業(yè)知識(shí)圖譜
7.5.3 NLP 如何與知識(shí)圖譜結(jié)合？
7.6 語言知識(shí)——從人工構(gòu)建到自動(dòng)構(gòu)建
7.6.1 AlphaGo zero 的自學(xué)習(xí)能力
7.6.2 自動(dòng)構(gòu)筑語言知識(shí)？
7.7 文本理解與推理
7.7.1 從淺層分析到深度理解
7.8 文本生成
7.8.1 從寫詩(shī)說起
7.8.2 從規(guī)范文本到自由文本
7.9 【例】基于知識(shí)圖譜的醫(yī)藥問答系統(tǒng)
8 總結(jié)

段方老師的其它課程