基于轉(zhuǎn)換器的生成式預(yù)訓練模型（***nerative pre-trained transformers，簡稱GPT）是一種延伸自轉(zhuǎn)換器架構(gòu)的自然語言生成模型。

它可以進行微調(diào)以完成各種自然語言處理任務(wù)，例如文本生成、代碼生成、視頻生成、文本問答、圖像生成、論文寫作、影視創(chuàng)作、科學實驗設(shè)計等。

研發(fā)***

2018年6月11日，OpenAI發(fā)表了一篇名為《通過生成式預(yù)訓練提高語言理解能力》（Improving Langua*** Understanding by ***nerative Pre-Training）[6]的論文，在其中介紹了“基于轉(zhuǎn)換器的生成式預(yù)訓練模型”（GPT）。

2模型應(yīng)用

ChatGPT (Chat ***nerative Pre-trained Transformer，基于轉(zhuǎn)換器的交互式生成式預(yù)訓練模型）是由OpenAI于2022年11月30日發(fā)布的一款聊天機器人。它采用的是GPT-3.5，應(yīng)用了“基于人類反饋的強化學習方案”（Reinforcement Learning from Human Feedbac，RLHF）。

BioGPT是由微軟開發(fā)的一種專注于生物領(lǐng)域的GPT模型。

ProtGPT2是一種專注于蛋白質(zhì)研究的GPT模型。

3版本***

版本 參數(shù)數(shù)量 訓練數(shù)據(jù)

GPT-1 1.2億 BookCorpus：是一個包含7000本未出版書籍的語料庫，總大小為4.5 GB。這些書籍涵蓋了各種不同的文學流派和主題。

GPT-2 15億 WebText：一個包含八百萬個文檔的語料庫，總大小為40 GB。這些文本是從Reddit上的4,500萬個網(wǎng)頁中收集的，包括各種主題和來源，例如新聞、論壇、博客、和社交媒體等。

GPT-3 1750億 一個總大小為570 GB的大規(guī)模文本語料庫，其中包含約四千億個標記。這些數(shù)據(jù)主要來自于CommonCrawl、WebText、英文和兩個書籍語料庫（Books1和Books2）。