流れ去るデータを捉える

イベント・ストリーム・プロセッシングを行うことで、大量に流れては消えてゆくデータ・ストリームから有益なパターンを見つけ出すことができます

執筆：フレデリック・コンバネール, SAS, シニア・ビジネス・ソリューション・マネジャー

オペレーショナル／トランザクション・システム、スキャナ、センサ、スマートメーター、インバウンドとアウトバウンドの顧客窓口、モバイルメディア、Webなど、ありとあらゆる方向からデータが組織に流れこんできています。

これらのデータ・ストリームは、潜在的価値のある洞察を豊富に含んでいます。ただしデータを捉えて分析できなければ、それを活用することはできません。

では、どうすれば次々と流れこむ大量のデータを管理できるのでしょう。また、それらのデータをどこに保管すればよいのでしょう。大量にあるデータの意味を理解するにはどれくらいの時間がかかるのでしょう――。データを保存した後に分析を実施する従来のアプローチでは、洞察を得られるタイミングが遅く、せっかくの洞察を役立たせることができないケースが多くあります。またリアルタイム対応をうたうアプリケーションでも、常に膨らみ続ける大量のデータを処理できるものはほとんどありません。

そこで考えられたのが、保存する前にデータを分析してしまうという方法です。データを受信すると同時に重要な情報を見つけ出し、必要な情報だけをとらえ、瞬時に洞察を得て、即座に対応することで、最善の意思決定を行えます。

それを可能するのが、イベント・ストリーム・プロセッシングという技術です。イベント・ストリーム・プロセッシングは、組織が受信するデータを継続的に分析し、情報のフローにもとづいて行動を起こすよう促してくれます。イベント・ストリーム・プロセッシングは、担当者（または自動システム）がこれまでよりも早くパターンを見つけ出し、意思決定を下せるようにする一種の複合イベント処理機能と言えます。

ストリーミング・データの3つのステップ

流れているデータ(Data-in-motion)と保存されているデータ(Data-at-rest)では、管理方法が異なります。イベント・ストリーム・プロセッシングは、流れているデータを処理するために集約、相関、および時間的分析という3つの主要な機能を提供します。

1. 集約。ギフトカードを使った詐欺を検知したい場合について考えてみましょう。イベント・ストリーム・プロセッシングは、流れているデータについて常に一定期間のデータを集約しながら監視することで、リアルタイムな傾向把握を可能にします。このため「あるPOS機器に1時間あたり2000ドルを超えるギフトカードの利用があれば即座に通知する」などといったことが可能となります。従来のツールでは、このような継続的な集約を行うことが困難でした。
2. 相関。複数のデータ・ストリームにアクセスし、「数秒」や「数日」など任意の期間にわたり、Aの後にB、Cという状況が続くといったパターンを識別できます。たとえば、1000台のPOS端末のギフトカード利用に関するデータ・ストリームにアクセスすれば、「1つの店舗でのギフトカード利用が、その時の他店舗の平均よりも50%多い場合は即座にアラートを生成する」といったように、常にPOS端末同士の状況を比較する処理もリアルタイムに実行できます。
3. 時間分析。イベント・ストリーム・プロセッシングは、時間も主な演算要素として用いるという概念で設計されています。これは変化率や変化量が重要な状況において不可欠です。たとえば、活動の急増が潜在的な詐欺の兆候になる場合が多くあります。イベント・ストリーム・プロセッシングは、急増が発生するとそれをすぐに検知します。「ある店舗における過去4時間のギフトカード売上と利用数が前週の1日のギフトカード利用数の平均より多い場合、ギフトカードの利用承認を停止する」といったように、速やかに対応できます。履歴データをバッチで処理するよう設計された演算モデルとは異なり、イベント・ストリーム・プロセッシングはデータの変化と足並みをそろえながら、質問を投げては答えを出します。

イベント・ストリーム・プロセッシングがほかのアプローチと異なる点はこれら3つの機能を備えていることです。過去に起こったことだけでなく、現在起こっていることを明らかにするため、企業はすぐにアクションを起こせます。

分析アプリケーションを強化する

イベント・ストリーム・プロセッシングは、リスク管理、不正の検知と防止、マネーロンダリング防止、顧客分析などの分析アプリケーションに組み込まれたときにその真価が証明されます。イベント・ストリーム・プロセッシング機能を活用することで、データを保存する前に、パターンの検知と関連性のあるイベントのフィルタリングを行い、分析ソリューションに送信できます。あるいは特定の独立した演算に使用するデータが入手可能になると、それを検知するため、ただちに演算を実行できます。時間のかかる演算を行うにあたり、すべてのデータがそろうまでに分析ソリューションを待機させる必要はありません。

毎秒何百万件ものレコードを処理する能力（レイテンシは100万分の1秒前後）を備えることで、可能性はほぼ無限に広がります。たとえば、次のような使い方があります。

• 1分以内に4社またはそれ以上の企業から同一のクレジット・カード番号に対してトランザクションがあった場合、次のトランザクション要求を拒否し、このクレジット・カード・アカウントにフラグを立て、不正検知ダッシュボードへメッセージを送信する。
• 『The Da Vinci Code』という題名の本の在庫水準が10%まで下がった場合、過去10時間の購買行動を踏まえ、流通センターに在庫補充プロセスに取り掛かるように促す。
• 過去10分の間に自社Webサイトにて、ホームページからMy Profileのページへ移動し、登録Emailアドレスを変更した訪問者の数を監視し、一定数を超えたら即座にセキュリティ部門に調査を促す。
• 別都市の店舗で発生したクレジット・カードのトランザクションが、都市間の移動にかかる時間よりも短い間隔で発生した場合、このクレジット・カード・アカウントを保留にし、フラグを立てて調査する。

イベント・ストリーム・プロセッシングは、このような問いに答えると同時にストレージ要件や演算要求、意思決定にかかる時間を削減します。テラバイト、ペタバイト、エクサバイト級のデータが組織に流れこんでいることを考えると、イベントを素早く発見し、より迅速かつ的確な意思決定を下すためにそれを役立てることには、極めて大きな価値があります。