マルチモーダルとは、文章・画像・音声・動画など、種類の違う情報を組み合わせて読み取ったり、つくり出したりできるAIの性質のことです。以前のAIは、文章なら文章だけ、画像なら画像だけと、扱う情報の種類ごとに別々につくられていました。いまの生成AIの多くは、写真を見せて質問したり、声で話しかけたりできます。現場の写真や手書きの書類、会議の録音など、文章になっていない情報を業務に使えるのが大きな利点です。
マルチモーダルのAIは、何を読み取れるのか?
読み取れるのは、文章のほか、画像、音声、動画、PDFなどの書類です。文章だけでなく、画像や音声をつくれるものもありますが、どの組み合わせに対応しているかは、AIのモデルによって違います。
| 情報の種類 | 読み取ってできること | 業務での例 |
|---|---|---|
| 画像 | 写っている物や文字、状態を読み取る | 現場の写真から、設備の状態を書き出す |
| 書類(PDF・手書き) | 表や図も含めて、内容を読む | 請求書や申込書から、必要な項目を取り出す |
| 音声 | 話した内容を文字にし、要点をまとめる | 会議の録音から、議事録の下書きをつくる |
| 動画 | 映像の流れを読み取る | 作業の動画から、手順を書き出す |
マルチモーダルは、業務のどこで使えるのか?
文章になっていない情報を、文章やデータに直す作業で特に役立ちます。これまで人が見たり聞いたりして書き写していた作業です。
- 現場の写真を見せて、点検の報告書の下書きをつくる
- 手書きの申込書や紙の帳票から、必要な項目を取り出す
- 会議や商談の録音から、議事録と次にやることをまとめる
- システムの画面の写しを見せて、操作の手順書をつくる
マルチモーダルと、これまでの画像認識や音声認識は、どう違うのか?
これまでの画像認識や音声認識は、決まった作業ごとに専用のAIをつくるのが一般的でした。マルチモーダルの生成AIは、一つのAIで複数の種類の情報を扱え、指示の文章を変えるだけで、さまざまな作業に使えます。
| 比べる点 | 専用のAI(画像認識・音声認識など) | マルチモーダルの生成AI |
|---|---|---|
| 扱える情報 | 決まった種類の情報だけ | 文章・画像・音声などを組み合わせて |
| 作業の決め方 | 作業ごとに学習させてつくる | 指示の文章で決める |
| 得意なこと | 決まった作業を、速く安定して繰り返す | 内容を読み取って、説明やまとめをつくる |
| 結果のぶれ | 小さい | 同じ指示でも、言い回しや中身が変わることがある |
マルチモーダルのAIを使うときの注意点は?
主な注意点は、読み間違いが起きること、写真や録音に個人の情報が入りやすいこと、扱うデータの量で利用料が変わることの3つです。
- 読み間違いが起きる
- 小さな文字や崩れた手書き、雑音の多い録音は、読み間違えることがあります。数字や固有名詞は、人が確かめる手順を入れます。
- 個人の情報が入りやすい
- 写真には人の顔や名札が、録音には会話の相手の声が入ります。何を撮ってよいか、録ってよいかを、あらかじめ決めておきます。
- 利用料が変わる
- 画像や音声、動画は文章よりデータの量が大きく、扱う量が増えると利用料がかさみやすくなります。
トラックファームでは、マルチモーダルをどう使っているか?
写真や書類、音声など、これまで人が見て書き写していた情報を、業務のデータにつなぐところで使います。AIが読み取った内容をどのシステムに入れるかまで決め、数字や固有名詞は人が確かめる流れにします。
よくある質問
マルチモーダルのAIは、手書きの文字も読めますか?
読めます。ただ、崩れた文字や、かすれた書類では読み間違いが起きます。帳票の読み取りに使うときは、読み取った結果を人が確かめる手順を入れます。
マルチモーダルと生成AIは、別のものですか?
別の言葉ですが、重なっています。生成AIは文章や画像などをつくるAIのこと、マルチモーダルは扱える情報の種類が複数あるという性質のことで、いまの生成AIの多くはマルチモーダルに対応しています。
