大語(yǔ)言模型技術(shù)-原理與實(shí)踐3天(1)

  培訓(xùn)講師:葉梓

講師背景:
葉梓老師葉梓,工學(xué)博士,高級(jí)工程師?,F(xiàn)某大型上市企業(yè)資深技術(shù)專(zhuān)家。2005年上海交通大學(xué)計(jì)算機(jī)專(zhuān)業(yè)博士畢業(yè),在校期間的主研方向?yàn)閿?shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能。畢業(yè)后即進(jìn)入軟件行業(yè)從事信息化技術(shù)相關(guān)工作;負(fù)責(zé)或參與了多項(xiàng)、省市級(jí)人工智能及大數(shù) 詳細(xì)>>

葉梓
    課程咨詢(xún)電話(huà):

大語(yǔ)言模型技術(shù)-原理與實(shí)踐3天(1)詳細(xì)內(nèi)容

大語(yǔ)言模型技術(shù)-原理與實(shí)踐3天(1)

大語(yǔ)言模型技術(shù)原理與實(shí)踐
【課程簡(jiǎn)介】
本課程旨在通過(guò)實(shí)際案例展示ChatGPT、ChatGLM、Langchain等相關(guān)大語(yǔ)言模型的具體應(yīng)用場(chǎng)景及實(shí)踐技巧,從而幫助學(xué)習(xí)者深入了解和掌握大語(yǔ)言模型的概念和更廣泛的應(yīng)用,深入理解其工作方式,包括其基礎(chǔ)知識(shí)、核心算法和實(shí)現(xiàn)方式,掌握其在各行業(yè)領(lǐng)域中的應(yīng)用情況等。
該課程適合于對(duì)大語(yǔ)言模型技術(shù)感興趣的學(xué)習(xí)者,從初學(xué)者到進(jìn)階者均可受益。經(jīng)過(guò)本課程的學(xué)習(xí),獲得相關(guān)技術(shù)實(shí)戰(zhàn)經(jīng)驗(yàn),通過(guò)一系列的實(shí)踐案例提高利用大模型解決實(shí)際問(wèn)題能力。
【課程時(shí)長(zhǎng)】
3天(6小時(shí)/天)
【課程對(duì)象】
理工科本科及以上,且至少了解一門(mén)編程語(yǔ)言。
【課程大綱】(培訓(xùn)內(nèi)容可根據(jù)客戶(hù)需求調(diào)整)
時(shí)間
內(nèi)容
案例實(shí)踐與練習(xí)
Day1上午
Transformer基礎(chǔ)
1、你需要的僅僅是“注意力”
2、Transformer中的block
3、自注意力機(jī)制
4、多頭注意力
5、位置編碼(拋棄RNN)
6、Batch Norm與Layer Norm
7、解碼器的構(gòu)造
初代GPT
“獨(dú)角獸”的威力
GPT的內(nèi)部架構(gòu)
基于Transformer的改造
自注意力機(jī)制的改進(jìn)
GPT的演進(jìn)
1、GPT-2
2、GPT-3
3、GPT-3.5
4、GPT-4
Day1下午
強(qiáng)化學(xué)習(xí)基礎(chǔ)
馬爾科夫獎(jiǎng)勵(lì)/決策過(guò)程
狀態(tài)行為值函數(shù)
Bellman方程
DP、MC、TD三者的關(guān)系
策略梯度方法
信賴(lài)域系方法背景
PPO方法
chatGPT的原理介紹
1、指示學(xué)習(xí)與InstructGPT
2、相關(guān)數(shù)據(jù)集
3、有監(jiān)督微調(diào)(SFT)
4、從人類(lèi)反饋中RL的思路
5、獎(jiǎng)勵(lì)建模(RM)
6、運(yùn)用PPO改進(jìn)
Day2上午
ChatGLM部署
1、ChatGLM3-6B介紹
2、ChatGLM3搭建流程
3、應(yīng)用場(chǎng)景(工具調(diào)用、代碼執(zhí)行)
4、權(quán)重量化
ChatGLM3原理
1、Code Interpreter
2、多模態(tài)CogVLM
3、WebGLM搜索增強(qiáng)
微調(diào)大模型
1、基于chatGLM的微調(diào)
2、LoRA
3、Prefix Tuning
4、P-Tuning
5、Prompt Tuning
6、freeze
7、構(gòu)建訓(xùn)練數(shù)據(jù)集
Day2下午
其他開(kāi)源大模型
1、LLaMA系列
2、通義千問(wèn)(qwen)
3、零一萬(wàn)物(Yi)
llama-factory微調(diào)大模型
1、工具的主要功能
2、支持的模型
3、數(shù)據(jù)集準(zhǔn)備
4、微調(diào)策略(LoRA, QLoRA, PEFT)
Day3上午
學(xué)習(xí)LangChain所需的知識(shí)儲(chǔ)備
1、詞嵌入與語(yǔ)義空間
2、高維向量的快速模糊匹配
3、局部敏感哈希(LSH)
4、向量數(shù)據(jù)庫(kù)
LangChain的原理
1、大模型利用的難點(diǎn)與痛點(diǎn)
2、Langchain的基本思路
3、關(guān)鍵組件
Day3下午
LangChain的實(shí)操
1、環(huán)境搭建
2、知識(shí)庫(kù)向量化與存儲(chǔ)
3、問(wèn)句向量化與初步匹配
4、合成prompt(提示詞)
5、提交給LLM生成答案
大語(yǔ)言模型的其他應(yīng)用
1、kimi chat
2、coze
3、文心一格與通義萬(wàn)相

 

葉梓老師的其它課程

DeepSeek輔助日常工作培訓(xùn)提綱一、引言介紹大模型領(lǐng)域的競(jìng)爭(zhēng)態(tài)勢(shì)強(qiáng)調(diào)DeepSeek的獨(dú)特優(yōu)勢(shì)二、DeepSeek概述DeepSeek的發(fā)展背景與定位DeepSeek各版本的特點(diǎn)與區(qū)別三、DeepSeek部署本地單機(jī)部署DeepSeek蒸餾版的硬件要求本地單機(jī)部署DeepSeek(量化)滿(mǎn)血版的配置與性能本地單機(jī)多卡部署DeepSeek(量化)滿(mǎn)血版的策

 講師:葉梓詳情


知識(shí)圖譜的Python實(shí)現(xiàn)【課程簡(jiǎn)介】本課程包含知識(shí)圖譜的基本概念及常用算法,并實(shí)現(xiàn)了一個(gè)基于知識(shí)圖譜的對(duì)話(huà)機(jī)器人。通過(guò)1天的系統(tǒng)學(xué)習(xí)、案例講解和動(dòng)手實(shí)踐,讓學(xué)員能初步了解知識(shí)圖譜的的相關(guān)知識(shí)與技術(shù)?!菊n程對(duì)象】理工科本科以上,或至少了解一種編程語(yǔ)言。知識(shí)圖譜基礎(chǔ)知識(shí)圖譜存儲(chǔ)知識(shí)圖譜基礎(chǔ)概念知識(shí)推理本體推理方法本體推理工具語(yǔ)義搜索RDF與RDFSOWL與OW

 講師:葉梓詳情


智能醫(yī)療技術(shù)與ChatGPT臨床應(yīng)用三日深度培訓(xùn)第一天:人工智能基礎(chǔ)與Python編程入門(mén)上午:人工智能在醫(yī)療領(lǐng)域的應(yīng)用概述Python編程基礎(chǔ)環(huán)境搭建、數(shù)據(jù)類(lèi)型、流程控制Python環(huán)境搭建Python數(shù)據(jù)類(lèi)型與流程控制Python函數(shù)的應(yīng)用Python面向?qū)ο缶幊?文件讀寫(xiě)和目錄操作異常處理機(jī)器學(xué)習(xí)概述數(shù)據(jù)探索性分析:智能化數(shù)據(jù)分析特征工程:數(shù)據(jù)準(zhǔn)備、數(shù)

 講師:葉梓詳情


人工智能“最強(qiáng)模型”transformer詳解【課程簡(jiǎn)介】Transformer是迄今為止人工智能領(lǐng)域的最新和最強(qiáng)大的模型類(lèi)別之一。它幾乎正在憑借一己之力來(lái)推動(dòng)深度學(xué)習(xí)的又一波重大進(jìn)步。Transformer模型充分運(yùn)用了稱(chēng)為注意力和自注意力機(jī)制,以檢測(cè)系列(或圖像)中元素相互影響和相互依賴(lài)的微妙關(guān)系。本課程通過(guò)2天時(shí)間的詳細(xì)介紹,可使學(xué)習(xí)者初步了解Tran

 講師:葉梓詳情


||1.人工智能概述||第一節(jié):人工智能與機(jī)器學(xué)習(xí)基礎(chǔ)|2.機(jī)器學(xué)習(xí)概述|||3.機(jī)器學(xué)習(xí)算法應(yīng)用分析|||1.一元線(xiàn)性回歸|||2.代價(jià)函數(shù)|||3.梯度下降法||第二節(jié):回歸算法|4.sklearn一元線(xiàn)性回歸應(yīng)用|||5.多元線(xiàn)性回歸|||6.sklearn多元線(xiàn)性回歸應(yīng)用|||案例:葡萄酒質(zhì)量和時(shí)間的關(guān)系|||1.KNN分類(lèi)算法介紹|||2.KNN分

 講師:葉梓詳情


人工智能技術(shù)詳解【課程內(nèi)容】本課程包含大數(shù)據(jù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、知識(shí)圖譜、強(qiáng)化學(xué)習(xí)與深度強(qiáng)化學(xué)習(xí)的相關(guān)知識(shí)?!菊n程時(shí)長(zhǎng)】7天(7小時(shí)/天)【課程對(duì)象】理工科本科及以上,且至少了解一門(mén)編程語(yǔ)言?!菊n程大綱】(培訓(xùn)內(nèi)容可根據(jù)客戶(hù)需求調(diào)整)時(shí)間內(nèi)容案例實(shí)踐與練習(xí)Day1上午準(zhǔn)備工作準(zhǔn)備工作1.概念與術(shù)語(yǔ)2.Python(Anaconda)的安裝3.Pycharm

 講師:葉梓詳情


人工智能與深度學(xué)習(xí)第一天:人工智能概念與經(jīng)典算法人工智能概念綜述(第一天——1)從一些術(shù)語(yǔ)辨析人工智能人工智能之連接主義的興衰史這次AI的熱潮是怎么來(lái)的?圖像處理領(lǐng)域的最新熱點(diǎn)(第一天——2)分類(lèi)、目標(biāo)檢測(cè)與實(shí)例分割風(fēng)格遷移自動(dòng)駕駛?cè)梭w姿態(tài)識(shí)別超分辨率圖像生成語(yǔ)言處理領(lǐng)域的最新熱點(diǎn)(第一天——3)Attention機(jī)制自動(dòng)構(gòu)建知識(shí)圖譜看圖說(shuō)話(huà)預(yù)訓(xùn)練機(jī)制三大經(jīng)

 講師:葉梓詳情


人工智能之最新自然語(yǔ)言處理技術(shù)與實(shí)戰(zhàn)課程介紹:自然語(yǔ)言處理(簡(jiǎn)稱(chēng)NLP)是計(jì)算機(jī)科學(xué)和人工智能研究的一個(gè)重要方向,研究計(jì)算機(jī)和理解和運(yùn)用人類(lèi)語(yǔ)言進(jìn)行交互的問(wèn)題,它是集語(yǔ)言學(xué)、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、大數(shù)據(jù)于一體的綜合學(xué)科。本課程主要介紹了NLP中的常用知識(shí)點(diǎn):分詞、詞法分析、句法分析、向量化方法、經(jīng)典的NLP機(jī)器學(xué)習(xí)算法,還重點(diǎn)介紹了NLP中最近兩年來(lái)基于大規(guī)模語(yǔ)

 講師:葉梓詳情


第一天上午:統(tǒng)計(jì)分析原理從最簡(jiǎn)單的案例開(kāi)始統(tǒng)計(jì)基礎(chǔ)描述性統(tǒng)計(jì)用SPSS實(shí)現(xiàn)描述性統(tǒng)計(jì)的案例回歸分析:線(xiàn)性回歸回歸分析:logistics回歸用SPSS實(shí)現(xiàn)回歸分析的案例可視化工具第一天下午:數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)介紹數(shù)據(jù)庫(kù)概述SQL(基本的增、刪、改、查)SQL(稍復(fù)雜的子句或嵌套)基于MySQL的上機(jī)操作SQL語(yǔ)言數(shù)據(jù)倉(cāng)庫(kù):度量與維度數(shù)據(jù)倉(cāng)庫(kù):星型模型、雪花模型

 講師:葉梓詳情


計(jì)算機(jī)視覺(jué)【課程時(shí)長(zhǎng)】3天(7小時(shí)/天)【課程對(duì)象】理工科本科及以上,且至少了解一門(mén)編程語(yǔ)言?!菊n程大綱】(培訓(xùn)內(nèi)容可根據(jù)客戶(hù)需求調(diào)整)時(shí)間內(nèi)容案例實(shí)踐與練習(xí)Day1上午準(zhǔn)備工作準(zhǔn)備工作決策樹(shù)準(zhǔn)備工作(1)概念與術(shù)語(yǔ)Python(Anaconda)的安裝Pycharm的安裝與使用JupyterNotebook的安裝與使用Tensorflow與pytorch的

 講師:葉梓詳情


 發(fā)布內(nèi)容,請(qǐng)點(diǎn)我! 講師申請(qǐng)/講師自薦
清華大學(xué)卓越生產(chǎn)運(yùn)營(yíng)總監(jiān)高級(jí)研修班
清華大學(xué)卓越生產(chǎn)運(yùn)營(yíng)總監(jiān)高級(jí)研修班
COPYRIGT @ 2001-2018 HTTP://fanshiren.cn INC. ALL RIGHTS RESERVED. 管理資源網(wǎng) 版權(quán)所有