本文へ移動
(お問い合わせ)

トークンとは?

トークンとは、生成AIが文章を処理するときの単位です。料金や、一度に扱える文章の量も、トークンの数で決まります。

ノートPCに向かう手元に、線とアイコンの光が重なる様子

トークンとは、生成AIのモデルが文章を処理するときに、文章を細かく分けた一つひとつの単位のことです。トークンという言葉は、ログインの認証や暗号資産の分野でも使われますが、この記事では生成AIで使われる意味を説明します。生成AIを業務に組み込むときは、費用の見積もりや、長い資料を扱えるかどうかの判断に関わります。

文章は、どのようにトークンに分けられるのか?

文章は、単語や文字、その一部といった単位に分けられます。分け方はモデルごとに決まっているため、同じ文章でも、使うモデルによってトークンの数は変わります。

日本語の場合、文字数とトークン数が近くなることもあれば、数文字が一つのトークンにまとまることもあり、モデルによって違います。正確な数は、各サービスが用意しているトークンの数え方の案内や道具で確かめられます。

トークンは、料金とどう関係するのか?

生成AIをAPIで仕組みに組み込む場合、料金はおもに、入力したトークンの数と、AIが出力したトークンの数で決まります。出力のトークンは、入力より単価が高く設定されていることが多いです。

上のような使い方をしていると、トークンの数が増え、費用がふくらみます。単価はサービスとモデルによって違い、改定されることもあるため、最新の金額は各サービスの案内で確かめてください。

  • 長い資料を、毎回まるごと渡している
  • それまでの会話の履歴を、すべて渡し続けている
  • 必要以上に長い答えを出させている
  • 検索で見つけた資料を、多めに渡している

トークンには、どんな上限があるのか?

モデルごとに、一度に扱えるトークンの数と、一度に出力できるトークンの数に上限があります。一度に扱える量の上限を、コンテキストウィンドウと呼びます。

上限を超えると、エラーになったり、古い会話や資料の一部が切り捨てられたりします。長い資料を扱う業務では、どのくらいの量を一度に渡すかを、設計の段階で決めておきます。

トークンを抑えるには、どうすればいいか?

必要な資料だけを渡す、指示を整理する、答えの形と長さを決める、作業によってモデルを使い分ける、の4つが基本です。答えの質を落とさずに、費用と待ち時間を減らせます。

必要な資料だけを渡す
資料をまるごと渡さず、RAGなどで質問に関係する部分だけを探して渡します。
指示を整理する
重複した説明や、使っていない条件を指示から取り除きます。
答えの形と長さを決める
「3行で」「決まった項目だけ」のように、答えの形と長さを指定します。
モデルを使い分ける
分類や項目の取り出しなどの軽い作業には、小さく安いモデルを使えないかを確かめます。

トラックファームでは、トークンをどう見積もっているか?

生成AIを業務に組み込むときは、PoCの段階で実際の業務のデータを流し、1件あたりのトークン数を測ります。そこに利用の件数をかけて、運用に入ってからの月々の費用を見積もります。

費用の目安は、PoC(小さな検証)が50万円から、生成AIの運用が月10万円からです。AIの利用料そのものは、使う量によって変わります。

よくある質問

日本語と英語では、トークンの数は変わりますか?

変わります。同じ内容でも、言語やモデルによってトークンの数は違います。日本語の文章を多く扱う場合は、実際の文章で数を測ってから、費用を見積もるのが確実です。

社員が使うチャットAIの月額の料金も、トークンで決まりますか?

利用者ごとの月額の契約であれば、多くの場合、料金はトークンの数ではなく利用者の数で決まります。ただ、使える量に上限が設けられていることもあります。APIで仕組みに組み込む場合は、トークンの数に応じた料金になるのが一般的です。

最終更新:監修:代表取締役 錦見 穣

まずは無料で、
どこから手をつけるべきかを見立てます。

オンライン面談60分+診断メモ。全国対応です。