從頭預訓練一個 LLaMA 3 超級 mini 杯
作者：Xode 原文：https://zhuanlan.zhihu.com/p/695130168 整理：青稞 AI這次打算用 Hugging Face 的 API 來寫一份預訓練大（小）模型的代碼，也就是用 Trainer 來做預訓練。由於只是想練習一下，因此打算選一個極小模型 + 小數據集。爲了貼近主流，於是打算預訓練一個 LLaMA 3——不過是超迷你版本，大小僅不到 20M ⌘ Read more