すべての記事

category

AI

1 件の記事

FIG-034 トークナイズ — LLMは文章をどう刻んで読むか文章を打つとリアルタイムでトークンに分割。英語と日本語でトークン数がどう変わるか見比べる。 10min