はじめに

本コラム「データマネジメントの要！データ品質管理のことはじめ」は、3回に分けてお送りしています。第1回では、「データ品質管理とは」と題し、データ品質管理の基本的な概念と実践する際の課題について述べました。第1回をまだ読んでいない方は、ぜひ以下からご覧ください。

第1回 データ品質管理とは

データ品質管理は、データから効果的に価値を引き出したいと考えている企業にとって重要な取り組みとなります。しかしながら、実践する際に以下のような課題があるため、なかなか取り組みが進まない実状があるかと思います。
前回述べた4つの課題を再掲します。

上記の1点目と2点目に関しては、データ品質管理の計画時における進め方やその過程で検討すべき事項などが具体的にイメージできると、取り組みやすくなると考えています。
今回は、データ品質管理を実施するうえでのアクティビティ（活動内容）や進め方について、前回に引き続きDMBOKに沿って解説していきます。

データ品質管理のアクティビティと作業ステップ

DMBOK では、データ品質管理の活動として、6つアクティビティを定義してします。それぞれのアクティビティで実施する大まかな活動内容と対応する作業ステップで整理すると、次のようになります。

図1：データ品質管理のアクティビティと作業ステップ

作業ステップの概要

上記の作業ステップに沿って進めることで、データ品質管理の対象となるデータや項目が明確になり、データ品質の基準に基づく継続的な運用方法を定めることができます。

データ品質管理の各作業ステップの活動内容

データ品質管理の各作業ステップで実施する具体的な活動内容を見ていきます。
よりイメージをつかみやすいように、ECサイトを運営する架空の企業におけるデータ利活用をモデルケースに用いて解説します。

① ビジネスニーズの明確化

データ品質管理の最初のステップは、データ品質の向上が、どのようなビジネスニーズによって要求されているかを把握し、分析するところから始まります。
ビジネスニーズを明確化するには、「ビジネス上の目的」、「対象業務」、「データ要求」、「データ品質要件」の4つの観点に対し、5W1Hで整理していきます。
モデルケースを用いて整理してみると次のようになります。

図2：「ビジネスニーズの明確化」の整理イメージ

各観点に関して、それぞれ以下の要領で整理します。

② データ品質管理対象の選定

「①ビジネスニーズの明確化」で実施した整理結果をもとにデータ品質管理の対象となるデータおよび項目を選定します。ここでは、「データ要件に関連するデータ・項目の洗い出し」と「プロファイリングの実施」、「データ品質管理対象の選定」の流れで進めていきます。

・ データ要件に関連するデータ・項目の洗い出し

データ要件に関連するデータ（テーブル）、項目（カラム）を洗い出します。ER図やテーブル定義書などのインプット情報などを活用すると効率よく実施できます。

図3：データ要件に関連するデータ・項目の洗い出しイメージ

図3の例では、2つのテーブルから対象項目の洗い出しができていますが、実際はアクセスログや顧客情報に加え、購買実績を集計した結果を格納したテーブルなど正規化された複数のテーブルが関連することが多いでしょう。必要に応じて、業務部門にヒアリングを実施して対象テーブルや項目の見当をつけるなども進めるうえでのポイントとなります。

・プロファイリングの実施

データ要件に関連するデータ、項目の洗い出しが完了したら、次は現状のデータ品質を把握するためにプロファイルを実施します。各項目に対し、データの抽出条件や測定方法を定義し、評価軸（データ品質要件）に沿って、実データの適合の度合いを測定します。

図4：プロファイル結果のイメージ

プロファイルの実施方法は、評価軸（データ品質要件）によって異なりますが、例えば以下のような測定を行います。

なお、プロファイリングの実施はツールを利用すると効率よく実施できます。ここでは、弊社が提供するオールインワンデータ分析プラットフォーム「Dataiku」を利用した例を紹介します。

図5：Dataikuを使ったデータセットへのクエリ

図6：Dataikuを使ったデータプロファイリング

Dataikuのようなデータ視覚化機能や、複数データセットへのクエリが容易に発行できる機能を持つツールの活用は、データ探索やプロファイリングにおいて、特に重要になります。

・データ品質管理対象の選定

プロファイル結果と対象項目のビジネス影響を踏まえ、データ品質管理対象にするか否かを判定します。

図7：データ品質管理対象の選定イメージ

ビジネス影響は、影響範囲の大きさ（部門間にまたがる影響）やそのデータ品質を損なわれることによるリスクの大きさにより度合いを決めます。例えば、モデルケースの場合、顧客に関する情報のビジネス影響を高く設定しています。これは、販促メールの重複送信や誤った情報を配信することにつながるためです。
管理対象の選定では、プロファイル結果とビジネス影響度を総合して要否を判定します。例えば、現状のエラー件数が多くても（データ品質の品質が低くても）、ビジネス影響が低ければ、対象としなくても良いという場合があります。最終的な判断に際しては、ステークホルダーとの協議・合意形成を図ります。

③データ品質基準の策定

「②データ品質管理対象の選定」で選定したデータ品質管理対象の項目に対して、データ品質測定方法やデータ品質の許容閾値、許容閾値を超えた場合の対応などのSLAを定義します。

図8：データ品質基準の策定イメージ

データ品質の測定方法は、実施タイミングや対応組織・担当者および具体的な実施方法まで落とし込みます。また、守るべきデータ品質の水準（図8では適合件数の割合で記載）を閾値として設定します。この閾値はデータ品質の目標値にもなるため、目標を達成するためのコストとのバランスも考慮する必要があります。

④ 運用フローの策定

「③データ品質基準の策定」まででデータ品質の測定方法および基準を策定できました。
最後は、データ品質で問題が発生した場合の対応手順や定期報告などの運用フローを定義します。

図9：運用フローの策定イメージ

ここでのポイントは、問題発生時の対応タイミング（対応期限）や実施方法、定期報告のタイミング（日時）や対応者を可能な限り定義しておくことです。
これにより、問題が発生した場合にいつまでに誰が責任をもって対応するのか明確になり、問題が放置されることを防ぐことができます。
また、定期報告は業務部門などステークホルダーを巻き込んで実施することで成果をアピールすることにもつながり、継続的な取り組みを推進するためのスポンサーを得ることも期待できます。

おわりに

今回は、データ品質管理の進め方について解説しました。データ品質管理は、戦略的に実施していく必要があります。ビジネス上の目的に沿った形でデータ品質管理の対象となるデータの選定と基準の策定、誰が・いつ・どのように対応するのかといった運用も検討しておくことが重要です。

ここまでで、データ品質管理のPDCAサイクルを回すことができるようになりました。しかしながら、この取り組みを継続的に実施し、定着化させるには運用の効率化が欠かせません。また、冒頭で述べた4つの課題のうち、残す以下の2つについても対応が必要になってくることでしょう。

これらの課題を解消するには、ツールやデータ品質管理を実現できるプラットフォームの助けが必要です。
次回は、上述の「プロファイリングの実施」で紹介したDataikuを使って、データ品質管理を効率的に実施するために整備が必要な仕組みや実践例を紹介します。