ビッグデータ分析のその前に、IT部門が知っておくべきこと

ビッグデータ時代の到来が叫ばれている。データウェアハウスは大容量になり、SNS上の会話や、工場の工程センサーデータ、地理空間情報など、さまざまなデータを蓄積できるようになった。そして、企業はこれらの新しいデータソースを高度に分析し、ビジネスに生かそうと試みている。その中でIT部門は、最先端の分析を実現するために、どのような指針で臨めばいいのだろうか。

ビッグデータは、旧来のデータベースやアーキテクチャでは管理できないほどの大容量データである。半構造化データ／非構造化データを含み、テキストデータだけでなく、音声データや映像データも含む。リアルタイムに蓄積されるトランザクションデータも加わる。つまり、「大量」、「多様」、「高速」という特徴を持つ。

それを分析したいというニーズから、新たなテクノロジーが登場した。中でも、2つのテクノロジーが大きな注目を集めている。大量のデータセットを分散システム上で処理するソフトウェア・フレームワークである「Hadoop」と、ハイパフォーマンス・コンピューティングの主要技術であるグリッド・コンピューティングを利用した高速分析技術「インメモリ分析」だ。

IT部門には、まずこれらに代表される最新のテクノロジーを把握しておく技術スキルが必要になる。テクノロジーを知ることで、ビジネスとの整合性を取りながらシステムを実装し、ビッグデータをビジネスに生かすインフラ戦略を立案することが可能になるためだ。

実際に、旧来のアーキテクチャと、ビッグデータを中心に据える最新のアーキテクチャでは、全く異なったインフラ戦略を描く必要が出てくる。これまでのアプリケーション展開はハードウェアのパフォーマンスに依存していたが、ブレードを追加するだけでスケールアップできるようになれば、ハードウェアの制約はほぼなくなる。システムのパフォーマンスと容量を、どちらも低コストかつ低リスクにクリアすることができるのだ。

その結果、システムの使い方も大きく変わる。たとえば、これまでは履歴データをまとめて1日に数度データ分析を行うのが限界だったが、これからは最新データを含めた全件分析を数分に1度実行できるようになる。大量データを高速処理できるインフラがあれば、ビジネスはリアルタイムに近づき、プロアクティブな意志決定を支援することが可能になる。

そうなると、IT部門には、技術スキルに加え、データ・サイエンティストをサポートするスキルも必要になるだろう。これまでの分析は、「漠然と思い描いていた結果を導くための分析」であった。これからは、「まっさらな状態から結果を得るための分析」になる。データ・サイエンティストにとっても新しいチャレンジだ。ビジネスニーズを理解できるスキルをIT部門が備えることで、テクノロジーの専門家とビジネスの専門家がタッグを組み、これまでにない発想でビジネスに役立つ分析プロセスを確立したい。

IT専門調査会社のIDCは、ホワイトペーパー『ビッグデータ・アナリティクス：CIOが今知っておくべき将来のアーキテクチャ、スキル、ロードマップ』において、CIOとIT部門が来るべきビッグデータ時代に向けて準備すべきことを示した。同ホワイトペーパーには、ビッグデータ・アナリティクスという大きなうねりに直面するIT部門にとって、重要ないくつもの指摘が含まれている。本特集と合わせて一読してほしい。新しい発見があるはずだ。