本文へ移動
(お問い合わせ)

データクレンジングとは?

データクレンジングとは、データの誤りや重複、表記のゆれを直して、集計や業務に使える状態に整える作業です。CRMやAIを入れる前の下ごしらえにあたります。

丸テーブルの上の書類とクリップボードを囲む、手元の様子

データクレンジングとは、データの中にある誤りや抜け、重複、表記のゆれを見つけて直し、正しく使える状態に整える作業のことです。クレンジングは「洗浄」という意味です。同じ会社が「株式会社〇〇」と「(株)〇〇」で別々に登録されていたり、電話番号の書き方がばらばらだったりすると、件数を数えるだけでも数字が合いません。こうした汚れを落としてからデータを使うための作業が、データクレンジングです。

データクレンジングでは、どんな汚れを直すのか?

主に直すのは、表記のゆれ、重複、抜け、誤り、古くなった情報の5つです。汚れの種類によって、仕組みでまとめて直せるものと、人が確かめる必要があるものに分かれます。

汚れの種類例直し方の例
表記のゆれ「株式会社」と「(株)」、全角と半角の数字書き方のルールを決めて、そろえる
重複同じ顧客が、別々の担当者に二重に登録されている同じものを見つけて、一つにまとめる
抜け業種や担当者の欄が空のまま元の資料や担当者に確かめて埋める
誤り存在しない郵便番号、桁の足りない電話番号形式を確かめて直すか、要確認として残す
古くなった情報移転前の住所、異動した担当者の名前更新日を確かめ、最新の情報に直す

データクレンジングは、どう進めるのか?

使い道を決める、今の状態を調べる、直すルールを決める、直す、入力のルールを見直す、の順に進めます。いきなり直し始めず、何に使うデータかを先に決めるのがコツです。

  1. 使い道を決める

    そのデータを何に使うかを決めます。使わない項目まで完璧に直そうとすると、時間がいくらあっても足りません。

  2. 今の状態を調べる

    件数や空欄の割合、書き方のばらつきなどを調べ、どこがどのくらい汚れているかをつかみます。

  3. 直すルールを決める

    会社名の書き方や、重複したときにどちらを残すかなどを決めます。現場の担当者と一緒に決めることが大切です。

  4. 直す

    決まった形の直しは仕組みでまとめて行い、判断が必要なものは人が確かめます。

  5. 入力のルールを見直す

    直しても、入力のしかたが同じなら、データはまた汚れていきます。入力欄の選択肢や必須の項目を見直します。

データクレンジングと名寄せは、どう違うのか?

データクレンジングは、データの汚れ全般を直す作業です。名寄せは、そのうち、同じ人や同じ会社のデータを見つけて一つにまとめる作業を指します。

名寄せの前には、表記のゆれをそろえるクレンジングが欠かせません。書き方がそろっていないと、同じ会社でも別の会社として扱われ、まとめるべきデータを見落としてしまいます。

データクレンジングは、AIの活用とどう関係するのか?

AIは、渡されたデータが正しいかどうかを自分では判断できません。重複や誤りの多いデータのままAIに分析や回答をさせると、もっともらしい誤った答えが返ってきます。

一方で、表記のゆれの候補を探したり、自由に書かれた住所や社名を決まった形に直したりする作業に、生成AIを使うこともできます。その場合も、AIが直した結果は、人が確かめてから反映します。

トラックファームでは、データクレンジングをどう進めているか?

CRMやデータ基盤をつくるときに、これまでのデータを移す作業の一つとして行います。自動車ディーラーのCRMの開発では、これまでの販売管理のデータからお客様と車両の初期データをつくり、重複や古いデータの扱いも、お客様と一緒に決めました。

よくある質問

データクレンジングは、ツールを使えば自動でできますか?

決まった形の直しは、ツールでかなり自動にできます。ただ、重複したときにどちらのデータを残すか、どこまでを同じとみなすかといった判断は、業務を知る人が決める必要があります。

データクレンジングは、一度やれば終わりですか?

いいえ。データは日々増えて変わるため、放っておくとまた汚れていきます。入力のルールを見直したうえで、定期的にデータの状態を確かめる仕組みをつくっておきます。

最終更新:監修:代表取締役 錦見 穣

まずは無料で、
どこから手をつけるべきかを見立てます。

オンライン面談60分+診断メモ。全国対応です。