近日，《每日經濟新聞》記者專訪了廈門大學教授蘇勁松。蘇勁松向記者介紹，ChatGPT本質上是一個語言模型，它可以根據(jù)給定的上下文來預測當前出現(xiàn)詞語的分布概率。

粗略來看，ChatGPT的發(fā)展經歷了多個階段：第一階段是統(tǒng)計語言模型，即用傳統(tǒng)的統(tǒng)計方法來建立語言模型；第二階段是神經網(wǎng)絡語言模型，即使用神經網(wǎng)絡來建立語言模型，先后出現(xiàn)了許多經典模型，包括前饋神經網(wǎng)絡語言模型、循環(huán)神經網(wǎng)絡語言模型等等。隨著2017年Transformer模型的出現(xiàn)，研究者們也開始使用Transformer模型來構建預訓練語言模型，也就是ChatGPT的前身GPT。