category
AI
5 件の記事
FIG-126 ファインチューニング・LoRA・RLHF — 全部書き直すか、付箋を貼るか、褒めて育てるか 32×32の重みのマスで、全部を書き換えるフルFT、元を凍結して細い2枚の行列だけ学習するLoRA、2つの答えから良いほうを選ぶRLHFを比べる。アダプタの付け替えや、選ぶたびに答え方の確率が動く様子も試せる。 FIG-064 Attention — どの単語が、どの単語を見ているか 文中の単語をクリックすると、その語が他のどの語に注目しているかを重みの濃淡で可視化する。 FIG-051 勾配降下法 — 坂を下って誤差の谷を探す ボールを1歩ずつ転がして谷底へ。学習率スライダーを上げすぎると行き過ぎて発散する様子を体感する。 FIG-043 RAG — LLMに「カンニングペーパー」を渡す 質問に関係する資料を検索してプロンプトに詰め込む流れを操作。資料あり/なしで答えがどう変わるかを確かめる。 FIG-034 トークナイズ — LLMは文章をどう刻んで読むか 文章を打つとリアルタイムでトークンに分割。英語と日本語でトークン数がどう変わるか見比べる。