Chapter 03 · Build a small GPT

ことばを、一文字先へ。

Local
laboratory
2026
LLM from scratch

漱石の文章を読んだ小さなGPTが、入力された書き出しの「次の一文字」を何度も予測します。

これは学習用の小規模モデルです。事実を答えるAIではなく、文字の並び方を学ぶ仕組みを観察するためのデモです。

書き出しと生成設定

INPUT / 01

チェックポイントを読み込んでいます。

書き出し例
設定の意味

生成文字数は続ける長さです。温度を下げると無難で似た出力、高くすると意外性のある出力になりやすくなります。top-kは30、4文字反復抑制、乱数seedは42に固定しています。

モデルが書いた続き

OUTPUT / 02

準備しています

左側で書き出しを選び、
「この続きを書く」を押してください。

生成時間 ms
学習 step
検証 loss
パラメータ