トークンとは、生成AIのモデルが文章を処理するときに、文章を細かく分けた一つひとつの単位のことです。トークンという言葉は、ログインの認証や暗号資産の分野でも使われますが、この記事では生成AIで使われる意味を説明します。生成AIを業務に組み込むときは、費用の見積もりや、長い資料を扱えるかどうかの判断に関わります。
文章は、どのようにトークンに分けられるのか?
文章は、単語や文字、その一部といった単位に分けられます。分け方はモデルごとに決まっているため、同じ文章でも、使うモデルによってトークンの数は変わります。
日本語の場合、文字数とトークン数が近くなることもあれば、数文字が一つのトークンにまとまることもあり、モデルによって違います。正確な数は、各サービスが用意しているトークンの数え方の案内や道具で確かめられます。
トークンは、料金とどう関係するのか?
生成AIをAPIで仕組みに組み込む場合、料金はおもに、入力したトークンの数と、AIが出力したトークンの数で決まります。出力のトークンは、入力より単価が高く設定されていることが多いです。
上のような使い方をしていると、トークンの数が増え、費用がふくらみます。単価はサービスとモデルによって違い、改定されることもあるため、最新の金額は各サービスの案内で確かめてください。
- 長い資料を、毎回まるごと渡している
- それまでの会話の履歴を、すべて渡し続けている
- 必要以上に長い答えを出させている
- 検索で見つけた資料を、多めに渡している
トークンには、どんな上限があるのか?
モデルごとに、一度に扱えるトークンの数と、一度に出力できるトークンの数に上限があります。一度に扱える量の上限を、コンテキストウィンドウと呼びます。
上限を超えると、エラーになったり、古い会話や資料の一部が切り捨てられたりします。長い資料を扱う業務では、どのくらいの量を一度に渡すかを、設計の段階で決めておきます。
トークンを抑えるには、どうすればいいか?
必要な資料だけを渡す、指示を整理する、答えの形と長さを決める、作業によってモデルを使い分ける、の4つが基本です。答えの質を落とさずに、費用と待ち時間を減らせます。
- 必要な資料だけを渡す
- 資料をまるごと渡さず、RAGなどで質問に関係する部分だけを探して渡します。
- 指示を整理する
- 重複した説明や、使っていない条件を指示から取り除きます。
- 答えの形と長さを決める
- 「3行で」「決まった項目だけ」のように、答えの形と長さを指定します。
- モデルを使い分ける
- 分類や項目の取り出しなどの軽い作業には、小さく安いモデルを使えないかを確かめます。
トラックファームでは、トークンをどう見積もっているか?
生成AIを業務に組み込むときは、PoCの段階で実際の業務のデータを流し、1件あたりのトークン数を測ります。そこに利用の件数をかけて、運用に入ってからの月々の費用を見積もります。
費用の目安は、PoC(小さな検証)が50万円から、生成AIの運用が月10万円からです。AIの利用料そのものは、使う量によって変わります。
よくある質問
日本語と英語では、トークンの数は変わりますか?
変わります。同じ内容でも、言語やモデルによってトークンの数は違います。日本語の文章を多く扱う場合は、実際の文章で数を測ってから、費用を見積もるのが確実です。
社員が使うチャットAIの月額の料金も、トークンで決まりますか?
利用者ごとの月額の契約であれば、多くの場合、料金はトークンの数ではなく利用者の数で決まります。ただ、使える量に上限が設けられていることもあります。APIで仕組みに組み込む場合は、トークンの数に応じた料金になるのが一般的です。
