何らかの研究結果を分析・解析するとき、その前提となるデータの品質は非常に重要です。しかし「データの質が高い」とはどのようなことを指すのでしょうか。改めて、求められるデータの質について考えてみたいと思います。
きれいなデータとは
収集されたままの生データを、解析できる状態にすることは「データの前処理」と呼ばれ、生データが汚い(dirtyな)ものだと膨大な労力と時間が必要になります。この前処理はいわゆるデータクリーニング段階としても行われますが、その内容により次のような用語が使われます。
- cleaning / cleansing
- derivation / calculation
- handling / trimming
- selection
- falsification
- fabrication
データに手を加えすぎるような物騒な印象を受ける用語もあります、、、きれいにしたい！という思いも「過ぎたるは猶及ばざるが如し」ですね。
ちなみに、筆者が尊敬するメンデル先生も、実験で得られたデータを都合良く取り扱ったと言われていますが、当時の水準からすれば許容されるトリミングの範囲であったと筆者は考えています。
しかし、時代が進むにつれ、データの質に対する要求レベルは上がってきました。単に誤字脱字がないというだけでは不十分で、収集されたデータが適切であり、研究目的に合ったものでなければなりません。さらに、解析する際に扱いやすい形式で提供されることも求められるようになってきました。
きれいなデータとそうでないデータでは、分析結果が変わってくる可能性があります。例えば、欠損値の多いデータを無視して分析を行えば、実態から外れた結論を導く危険性があります。このように、不適切なデータを使うと研究結果そのものの質が落ちてしまいます。
Tidy Dataという考え方
データの扱いやすさを追求する概念として、Hadley Wickhamが提唱した”Tidy Data”があります(The Journal of Statistical Software, 2014)。Tidy Dataとは、データが適切に構造化されており、各変数が1列に、各観測がその変数について1行のみに記録されているようなデータのことです。
このようなデータ形式を採用することで、データの可視化や統計モデリングなどの作業が非常に簡単になります。
そもそも、前処理の負荷が大きくなればミスも増え、扱いづらいデータでは解析作業時に誤解を生む可能性が高くなります。Tidy Dataのようにデータを整理・構造化することで、そうしたリスクを最小限に抑えられます。
求められる”きれいなデータ”
現時点で「きれいなデータ」とは、以下の2点を満たすデータを指すと言えるでしょう。
- 適切な情報が収集されている
- 扱いやすい形式(Tidy Data)になっている
このようなきれいなデータを確保するためには、様々な創意工夫が必要不可欠です。研究目的に適切な収集データ項目、データの収集方法、データ構造の設計、前処理の手順など、データの品質管理・保証のためのプロセス全般を見直す必要があります。
例えば、収集時の入力フォームにデータ型やデータ範囲のチェックを設けたり、必須項目を明示したりすることで、より適切なデータを収集できるようになります。
データベースの正規化やデータ型の適切な設計を行うことで、Tidy Dataに近い形で保存でき、後の変換作業が不要になります。
前処理の手順についても、ミスを減らす工夫が欠かせません。単にGUIツールを使うだけでなく、スクリプトによる自動化やテストの導入を検討することも重要です。特に、データを直接変更する危険性の高い処理は、影響範囲の特定や変更履歴の管理が必須でしょう。
また、整備されたデータを活用しやすくするため、データカタログの作成やメタデータの明確化にも力を入れる必要があります。ユーザーがデータの概要を簡単に把握でき、適切な分析データセットを選択できるようにすることは非常に重要です。
このように、きれいなデータを確保するためには、データライフサイクル全体を通して様々な取り組みが求められます。ツールの活用はもちろん、プロセスの標準化や体制の整備も欠かせません。研究結果の質を高めるため、データの質と扱いやすさを追求し続けることが何より大切なのです。