学習データとは、AIのモデルをつくるときに、知識や判断のパターンを覚えさせるために使うデータのことです。たとえば、不良品を見分けるAIなら良品と不良品の画像が、問い合わせを振り分けるAIなら過去の問い合わせと振り分け先の組み合わせが、学習データになります。AIは学習データから学んだことしか知らないため、どんなデータで学習したかが、そのまま得意・不得意に表れます。
学習データには、どんな種類があるのか?
正解の付いたデータと、正解の付いていないデータに大きく分かれます。正解を付ける作業は「アノテーション」と呼ばれ、AIづくりの手間の多くを占めることがあります。
| データの種類 | 内容 | 例 |
|---|---|---|
| 正解の付いたデータ | 入力と正解の組み合わせ | 「良品」「不良」の印を付けた製品の画像 |
| 正解の付いていないデータ | 入力だけのデータ | 大量の文章、印のない画像 |
| 評価用のデータ | 学習には使わず、できあがったAIを確かめるためのデータ | 学習に使っていない過去の問い合わせ |
生成AIでは、学習データはどう使われているのか?
LLMは、Webページや書籍などの膨大な文章で、あらかじめ学習されています。業務で使うときは、自社でモデルを学習させるより、答える前に社内の資料を渡す方法(RAG)をとるのが一般的です。
- 事前学習
- AIの提供会社が、膨大な文章でモデルをつくる段階です。言葉の使われ方や一般的な知識を身につけます。
- 追加の学習(ファインチューニング)
- できあがったモデルに、自社のデータを追加で学習させ、特定の作業や言い回しに合わせる方法です。
- 資料を渡して答えさせる(RAG)
- モデルは学習させずに、答える前に社内の資料を検索して渡します。資料を差し替えるだけで、新しい情報を反映できます。
よい学習データとは、どんなデータか?
よい学習データは、実際の業務と同じ種類のデータが十分な量あり、正解が正しく付いていて、偏りのないデータです。
データが偏っていると、AIの判断にも偏りが出ます。たとえば、ある季節の取引だけで学習した需要予測は、別の季節にはうまく当たりません。
- 実際に使う場面と同じ条件で集めたデータであること
- 正解の付け方が、人によってぶれていないこと
- 特定の時期や地域、顧客層などに偏っていないこと
- 古いデータや重複したデータが整理されていること
学習データを扱うときの注意点は?
個人情報や機密情報の扱い、他者の著作物の扱い、データの出どころの記録の3点に気をつけます。法令に関わる判断は、専門家や公的機関の案内を確かめてください。
- 個人情報・機密情報
- 個人情報を含むデータを学習に使う場合は、利用目的の範囲に入っているかを確かめ、必要に応じて氏名などを取り除いてから使います。
- 他者の著作物
- 日本の著作権法には、AIの学習のような情報解析のための利用について定めた規定(第30条の4)がありますが、どんな場合でも自由に使えるわけではありません。文化庁の「AIと著作権に関する考え方について」(2024年)などを確かめ、迷う場合は専門家に相談してください。
- 出どころの記録
- どのデータを、いつ、どこから集め、どう加工したかを記録しておくと、AIの判断に問題が見つかったときに原因をたどれます。
トラックファームでは、学習データをどう扱っているか?
お客様のデータを、AIの提供会社のモデルの学習に使わせることはありません。入力したデータが学習に使われない契約・設定のAPIや環境だけを使います。
製造業の見積・請求の管理システムでは、モデルを学習させるのではなく、過去の見積から似たものを探して実例としてAIに渡し、明細の下書きをつくらせています。お客様の社名や住所、担当者名はAIに送らず、送るのは件名と明細、単価だけです。
よくある質問
AIをつくるには、どのくらいの量の学習データが必要ですか?
作業の難しさとやり方によって大きく変わるため、一概には言えません。生成AIを業務で使う場合は、自社でモデルを学習させず、資料を渡して答えさせる方法をとることが多く、その場合は大量の学習データを用意しなくても始められます。
社内のデータを学習に使うと、社外に漏れることはありますか?
使い方によっては、そのおそれがあります。学習させたモデルが、学習データの一部をそのまま答えに出してしまうことがあるためです。機密情報は学習に使わず、答える前に資料を渡す方法で、見られる人を限って扱うほうが安全です。
