データクレンジングとは、データの中にある誤りや抜け、重複、表記のゆれを見つけて直し、正しく使える状態に整える作業のことです。クレンジングは「洗浄」という意味です。同じ会社が「株式会社〇〇」と「(株)〇〇」で別々に登録されていたり、電話番号の書き方がばらばらだったりすると、件数を数えるだけでも数字が合いません。こうした汚れを落としてからデータを使うための作業が、データクレンジングです。
データクレンジングでは、どんな汚れを直すのか?
主に直すのは、表記のゆれ、重複、抜け、誤り、古くなった情報の5つです。汚れの種類によって、仕組みでまとめて直せるものと、人が確かめる必要があるものに分かれます。
| 汚れの種類 | 例 | 直し方の例 |
|---|---|---|
| 表記のゆれ | 「株式会社」と「(株)」、全角と半角の数字 | 書き方のルールを決めて、そろえる |
| 重複 | 同じ顧客が、別々の担当者に二重に登録されている | 同じものを見つけて、一つにまとめる |
| 抜け | 業種や担当者の欄が空のまま | 元の資料や担当者に確かめて埋める |
| 誤り | 存在しない郵便番号、桁の足りない電話番号 | 形式を確かめて直すか、要確認として残す |
| 古くなった情報 | 移転前の住所、異動した担当者の名前 | 更新日を確かめ、最新の情報に直す |
データクレンジングは、どう進めるのか?
使い道を決める、今の状態を調べる、直すルールを決める、直す、入力のルールを見直す、の順に進めます。いきなり直し始めず、何に使うデータかを先に決めるのがコツです。
使い道を決める
そのデータを何に使うかを決めます。使わない項目まで完璧に直そうとすると、時間がいくらあっても足りません。
今の状態を調べる
件数や空欄の割合、書き方のばらつきなどを調べ、どこがどのくらい汚れているかをつかみます。
直すルールを決める
会社名の書き方や、重複したときにどちらを残すかなどを決めます。現場の担当者と一緒に決めることが大切です。
直す
決まった形の直しは仕組みでまとめて行い、判断が必要なものは人が確かめます。
入力のルールを見直す
直しても、入力のしかたが同じなら、データはまた汚れていきます。入力欄の選択肢や必須の項目を見直します。
データクレンジングと名寄せは、どう違うのか?
データクレンジングは、データの汚れ全般を直す作業です。名寄せは、そのうち、同じ人や同じ会社のデータを見つけて一つにまとめる作業を指します。
名寄せの前には、表記のゆれをそろえるクレンジングが欠かせません。書き方がそろっていないと、同じ会社でも別の会社として扱われ、まとめるべきデータを見落としてしまいます。
データクレンジングは、AIの活用とどう関係するのか?
AIは、渡されたデータが正しいかどうかを自分では判断できません。重複や誤りの多いデータのままAIに分析や回答をさせると、もっともらしい誤った答えが返ってきます。
一方で、表記のゆれの候補を探したり、自由に書かれた住所や社名を決まった形に直したりする作業に、生成AIを使うこともできます。その場合も、AIが直した結果は、人が確かめてから反映します。
トラックファームでは、データクレンジングをどう進めているか?
CRMやデータ基盤をつくるときに、これまでのデータを移す作業の一つとして行います。自動車ディーラーのCRMの開発では、これまでの販売管理のデータからお客様と車両の初期データをつくり、重複や古いデータの扱いも、お客様と一緒に決めました。
よくある質問
データクレンジングは、ツールを使えば自動でできますか?
決まった形の直しは、ツールでかなり自動にできます。ただ、重複したときにどちらのデータを残すか、どこまでを同じとみなすかといった判断は、業務を知る人が決める必要があります。
データクレンジングは、一度やれば終わりですか?
いいえ。データは日々増えて変わるため、放っておくとまた汚れていきます。入力のルールを見直したうえで、定期的にデータの状態を確かめる仕組みをつくっておきます。
