トークンとは何ですか?
トークンとは、AIが文章を理解したり生成したりする際に使う「文字や単語の分割単位」です。
1トークンはおおよそ 日本語では1〜3文字程度 に相当します。
例えば:
「こんにちは」 → 約3トークン
「AIチャットボットは便利です」 → 約10トークン
トークン数は 言語によっても変わります。
英語 → 1単語がそのまま1トークンになることが多く、日本語より効率的です。
日本語や中国語 → 1文字ごとに分割されやすく、同じ内容でもトークン数が多くなりやすいです。
そのため、同じ質問や回答でも「日本語でやり取りする場合」と「英語でやり取りする場合」で、利用するトークン数が異なります。
つまり、トークンは「文字数そのもの」ではなく「AIが理解するための細かい単位」と考えていただくと分かりやすいです。