起源：LLM系列算是我記錄一下自己在大型語言模型的研究結果進行整理，方便日後自己再次閱讀和與別人講解時可以使用。LLM模型的核心主要分成兩塊：分析和生成。目前很流行的GPT模型其實也是基於這兩塊所組合而成的，分析就是想辦法將資料集的內容抽像化變成一個記憶空間，生成就是將記憶空間中的內容加工後輸出。這個部分其實和微分幾何還有相對論是相通的，我們數學家一直很想要用式子去表達一個現象，所謂的現象可以想成是實際空間，而我們其實沒辦法知道實際空間長怎麼樣，只能夠通過觀察來學習，而這個觀察學習的動作其實就是分析，想辦法找到規律性，如果找到規律性下一個問題就是要用一個式子直接表達。大型語言模型的發展：一開始NLP的研究內容大部分圍繞在分析的部分，大部分都主要在做文章分類或者翻譯的問題。主要分成transformer前和transformer後時代，關於transformer我有空再寫一篇關於他的內容，大家只要記得transformer模型的出現主要是解決了NLP領域中記憶力的問題。在transformer模型之前，大家普遍用的模型都是基於LSTM或者GNN的模型，這些模型有個很大的問題，就是他...