人工智能大模型應用案例實戰(zhàn)-3天

人工智能大模型應用案例實戰(zhàn)
-15240011430課程簡介
大模型也稱為大語言模型（LLM）是指使用大量文本數據訓練的深度學習模型，可以生成自然語言文本或理解語言文本的含義。這些模型通?；谏疃葘W習架構，如Transformer等，這有助于它們在各種NLP任務上取得令人驚嘆的表現。目前的大語言模型（如GPT和BERT）采用與小模型類似的Transformer架構和預訓練目標（如 Language Modeling），與小模型的主要區(qū)別在于增加模型大小、多模態(tài)、訓練數據和計算資源。
ChatGPT是一款由OpenAI開發(fā)的大模型，它能夠模擬人類的語言行為，與用戶進行自然的交互。它的名稱來源于它所使用的技術GPT-4架構，即生成式語言模型的第4代。
ChatGPT的核心技術是GPT-4架構。它通過使用大量的訓練數據來模擬人類的語音行為，并通過語法和語義分析，生成人類可以理解的文本。它可以根據上下文的語境，提供準確和恰當的回答，并模擬多種情緒和語氣。這樣，就可以讓用戶在與機器交互時,感受到更加真實和自然的對話體驗。
ChatGPT的應用場景也很廣泛。它可以用于處理多種類型的對話，包過對話機器人、問答機器人和客服機器人等。它還可以用于各種自然語言處理任務，比如文本摘要、情感分析和信息提取等。例如，在一個問答系統(tǒng)中，ChatGPT可以提供準確的答案，解決用戶的疑惑；在一個客服機器人中,他可以幫主用戶解決問題，提供更好的服務體驗。
此課程是尹立慶老師多年人工智能工作經驗的分享，重點介紹大模型以及揭開大模型的神秘面紗，大模型未來發(fā)展趨勢和投資機會。
-15240011430培訓目標
大模型軟硬件架構、分層；
介紹主流編程框架（和硬件結合）；
各大主流大模型適用場景，優(yōu)劣勢；
大模型調參；
openai接口介紹使用；
針對企業(yè)應用和軟件開發(fā)或工業(yè)場景的實戰(zhàn)；
大模型調小模型示例，全程演示；
大模型幻覺介紹。
-15240011430培訓對象

本課程適合于對大模型、ChatGPT的原理感興趣的人員；
本課程適合于架構師、技術經理、高級工程師；
適合于企業(yè)科技研發(fā)人員和人工智能科學家；
-15240011430培訓方式

以課堂講解、演示、案例分析為主，內容偏實用，結合講解與演示方式，循序漸進，輔以互動研討、現場答疑、學以致用。
-15240011430課程安排

課程時間：3天
課程內容：
時間
內容
備注
第1天
大模型軟硬件架構、分層（深入講解大模型軟硬件架構、分層）（90分鐘）
大模型軟硬件架構、分層
大模型的工作原理
大模型的軟件架構
Transformer架構
深度學習架構
大模型的硬件架構
NVIDIA GPU大語言模型架構
NVIDIA的A100或H100 GPU
NVIDIA的Megatron-LM大模型框架
NVIDIA大模型框架TensorRT-LLM
Google大模型架構
Google的TPU大規(guī)模硬件架構
主流大模型訓練架構GPU+PyTorch+Megatron-LM+DeepSpeed
大模型的訓練方法
數據準備、模型訓練、調優(yōu)
介紹主流編程框架(和硬件結合)（深入講解介紹主流編程框架(和硬件結合)）（90分鐘）
介紹主流編程框架(和硬件結合)
主流大模型訓練架構GPU+PyTorch+Megatron-LM+DeepSpeed
大模型技術原理
大模型分布式訓練框架
常用的分布式訓練框架
Megatron-LM
DeepSpeed
Megatron-LM
DeepSpeed
3D并行化實現萬億參數模型訓練
DeepSpeed三種并行方法
數據并行訓練
模型并行訓練
流水線并行訓練
ZeRO零冗余優(yōu)化器
如何選擇一款分布式訓練框架
常見的分布式訓練框架
TensorFlow
PyTorch
MindSpore
Oneflow
PaddlePaddle
Flax
Megatron-LM（張量并行）
DeepSpeed（Zero-DP）
Colossal-AI（高維模型并行）
Alpa（自動并行）
訓練超大規(guī)模語言模型主要技術路線
GPU + PyTorch + Megatron-LM + DeepSpeed
TPU + XLA + TensorFlow/JAX
參數高效微調（PEFT）技術
影響大模型性能的主要因素
衡量大模型水平
深度學習框架Pytorch
大模型編程選擇Pytorch的理由
Pytorch的大模型應用案例
深度學習算法設計通用流程
PyTorch與Tensorflow對比
大模型分布式并行計算技術（大模型分布式并行計算技術）（60分鐘）
大模型分布式并行計算技術
數據并行DP（Data Parallel）
分布式數據并行 DDP (Distribution Data Parallel)
張量并行
流水并行
G-pipe
PipeDream
virtual pipeline
梯度累加
激活檢查點
ZeRO
MPI、GLOO和NCCL等通信策略
大模型生態(tài)相關技術
英偉達GPU+CUDA架構（英偉達GPU+CUDA架構）（60分鐘）
英偉達GPU+CUDA架構
英偉達集合通信庫NCCL
通訊操作原語
廣播Broadcast
數據散播Scatter
規(guī)約運算Reduce
AllReduce
數據收集Gather
AllGather
ReduceScatter
Nvlink
顯存優(yōu)化技術
重計算(Recomputation)
Activation checkpointing(Gradient checkpointing)
卸載（Offload）技術
ZeRO-Offload
ZeRO-Infinity
混合精度（BF16/FP16）
大模型分布式訓練環(huán)境搭建（大模型分布式訓練環(huán)境搭建）（60分鐘）
AI大模型分布式集群
AI大模型分布式集群通信
大模型分布式訓練環(huán)境搭建
GPU服務器配置
CPU硬件配置清單
GPU硬件配置清單
AI處理器（加速卡）
安裝依賴包
配置環(huán)境
時間
內容
備注
第2天
Pytorch大模型實踐案例（深入剖析深度學習框架Pytorch大模型實踐案例）（90分鐘）
Pytorch大模型實踐案例
Tensor以及相關的函數
Autograd機制以及相關函數
Torch.nn庫
Tensor操作函數
AutoGrad自動求導
神經網絡相關函數
導數，方向導數，偏導數，梯度等
PyTorch搭建深度神經網絡
使用PyTorch搭建手寫數字識別
數據處理
模型搭建
模型訓練
數據預測與識別
各大主流大模型適用場景，優(yōu)劣勢（深入講解各大主流大模型適用場景，優(yōu)劣勢）（90分鐘）
各大主流大模型適用場景，優(yōu)劣勢
各大主流大模型適用場景，優(yōu)劣勢
ChatGPT-4大模型發(fā)展現狀
Sora大模型發(fā)展現狀
谷歌PaLM 2 AI大模型發(fā)展現狀
Claude大模型發(fā)展現狀
LLaMA大模型發(fā)展現狀
MidJournery大模型發(fā)展現狀
各大主流大模型適用場景，優(yōu)劣勢
百度文心一言
百度文心一格
阿里巴巴通義千問
華為盤古
科大訊飛星火
AIGC大模型
ChatGPT
GPT4
文心一言
Google bard
DALL-E
本地模型
清華大學ChatGLM
Facebook LLaMa
Stable Diffusion
斯坦福Alpaca
OpenJourney
垂直領域產品
方問智能中醫(yī)輔助系統(tǒng)
國內大模型應用建議（深度解讀國內大模型應用建議）（60分鐘）
百度文心一言應用建議
阿里巴巴通義千問應用建議
華為盤古應用建議
科大訊飛星火應用建議
大模型調參（深入講解大模型調參）（90分鐘）
大模型調參
NVIDIA GPU加速和優(yōu)化大語言模型的性能
大模型微調
大模型微調的概念和意義
預訓練模型的優(yōu)勢和應用場景
大模型微調基本原理
大模型微調方法
數據加載、模型訓練、調參等常見操作的優(yōu)化和加速方法
使用可視化工具進行模型訓練過程的分析和調試
大模型微調的基本流程和關鍵步驟
常用的深度學習框架和工具
TensorFlow、PyTorch等常見深度學習框架
Parameter-Efficient Fine-Tuning (PEFT)
預訓練階段
目標任務準備
構建微調任務
PEFT微調
常用的PEFT方法
Adapter Tuning
Prefix Tuning
Prompt Tuning
P-Tuning
LoRA
案例剖析：應用大模型微調技術解決實際問題
大模型微調技術與實踐（大模型微調技術與實踐）（30分鐘）
大模型微調技術與實踐
常見的大模型微調技術
知識蒸餾
遷移學習
領域適應
案例大模型微調的實踐
文本分類
圖像識別
自然語言處理
探討大模型微調過程中可能遇到的問題和解決方案
選擇合適的預訓練模型并進行微調
如何評估微調效果和改進方案
實際應用案例分享與討論
時間
內容
備注
第3天
openai接口介紹使用（深入講解openai接口介紹使用）（90分鐘）
openai接口介紹使用
獲取OpenAI API密鑰
選擇OpenAI API
安裝OpenAI SDK
調用OpenAI API
處理OpenAI API響應
優(yōu)化API調用
管理API使用
反饋和改進
實戰(zhàn)案例：Python調用OpenAI API實戰(zhàn)案例
針對企業(yè)應用和軟件開發(fā)或工業(yè)場景的實戰(zhàn)（深入講解針對企業(yè)應用和軟件開發(fā)或工業(yè)場景的實戰(zhàn)）（90分鐘）
針對企業(yè)應用和軟件開發(fā)或工業(yè)場景的實戰(zhàn)
大模型的企業(yè)應用場景
望聞問切
視覺、聽覺、觸覺、語言、思考
文本生成
生成式對話、編寫劇本、撰寫論文
文本理解
情感分析、主題分類、關系提取
語義理解、問答系統(tǒng)
圖像理解與圖像生成
語音識別與語音合成
企業(yè)智能客服
視頻理解與視頻生成
大模型應用的工業(yè)場景的實戰(zhàn)
智能制造和質量控制
供應鏈優(yōu)化
客戶服務和支持
智能能源管理
產品推薦和個性化營銷
安全監(jiān)控和風險管理
生產優(yōu)化和預測維護
企業(yè)提高生產效率、降低成本
改善產品質量和客戶體驗
增強競爭力并實現可持續(xù)發(fā)展
大模型的應用中應該重點關注什么
大模型調小模型示例，全程演示（深入講解大模型調小模型示例，全程演示）（90分鐘）
大模型調小模型示例，全程演示
模型壓縮（蒸餾、剪枝）
知識蒸餾
剪枝大模型
大模型蒸餾
提示語壓縮
聯合推理
模型串聯
數據采樣
遷移學習
權值共享
集成學習
將小模型作為插件
提示語壓縮
大模型幻覺介紹（深入講解大模型幻覺介紹）（90分鐘）
大模型幻覺介紹
什么是大模型幻覺
大模型幻覺分類
事實性幻覺
忠實性幻覺
大模型產生幻覺的來源
數據源、訓練過程和推理
預訓練階段導致大模型幻覺
架構缺陷
曝露偏差
能力錯位
信念錯位
檢測事實性幻覺的方法
檢索外部事實
不確定性估計
基于內部狀態(tài)的方法
基于行為的方法
檢測忠實性幻覺的方法
基于事實的度量
分類器度量
問答度量
不確定度估計
提示度量
深度解讀glm2_6b大模型（深度解讀glm2_6b大模型）（90分鐘）
深度解讀glm2_6b大模型
glm2_6b大模型的原理
GPT（Generative Pre-trained Transformer）架構
glm2_6b大模型數據集
glm2_6b大模型的部署
準備環(huán)境
安裝依賴庫
下載模型權重
加載模型
部署API或服務
調優(yōu)和監(jiān)控
glm2_6b大模型的訓練
glm2_6b大模型的應用
自然語言處理
文本生成
機器翻譯
問答系統(tǒng)

尹立慶老師的其它課程