LLM はトークンを1つずつ予測している — 自己回帰ループを手元で覗く

LLM はトークンを1つずつ予測している — 自己回帰ループを手元で覗く

LLM は文章を一度に書くのではなく、トークンを 1 つずつ予測して繋げています。小型モデルを MLX で手元に動かし、トークン化が文字でも単語でもないことと、「生成時間はトークン数に比例する」ことを実測で確かめます。連載「言語モデルの中身」Part 1。

2026年6月27日