SAS Event Stream Processingの機能リスト
拡張可能なインメモリ、分散、最適化された処理
拡張可能なインメモリ、分散、最適化された処理
- 毎秒数百万件という大量のイベント処理するためのSAS Event Stream Processingサーバーと低遅延の応答時間（ミリ秒単位、ミリ秒未満）
- 個々のSAS Event Stream Processingプロジェクト、入力ウィンドウ、および本稼働SAS Event Stream Processingサーバーに関してイベント利用状況をモニタリングおよび記録し、イベント利用データの収集を高速化する組み込みの測定サーバー
- 維持および集約されるデータはメモリ内に保持され、最大のパフォーマンスを確保
- 分散型グリッド・アーキテクチャ、SAS Cloud Analytic Services（CAS）、またはパブリック クラウド・プロバイダーとプライベート クラウ・ドプロバイダー（AzureおよびAWSサポート）を活用
- 柔軟なスレッドプール・サイズ調整機能や、キャッシング用の保管領域などを用いて、処理スピードをカスタマイズすることが可能
- イベントストリーム処理アクティビティの成功を担保するために、特許取得済みの瞬時の「1+N」構成のフェールオーバー、ネイティブ・フェールオーバー、保持機能を利用しない保証型配信、その他のフォールト・トレランス機能を標準装備
- 全てのイベント・メタデータに対する完全かつオープンなアクセス
クラウド・ネイティブ
クラウド・ネイティブ
- 新しいSAS Event Stream Processingの軽量展開スクリプトを使用すると、コンテナ化されたSAS Event Stream Processingをより高速、簡単にリソースを抑えながら展開できるだけでなく、SAS Event Stream Processingのすべての機能も展開できます。
- SAS Event Stream Processingの新しい組み込みKubernetes Operatorフレームワークを使用して、クラウド上でリソースを動的にスケーリングし、パブリックまたはプライベートのクラウドにおける展開、アップグレード、スケーラビリティを簡素化します。
- KafkaまたはネイティブSDKサポートを使用してAzure IoT Event Hubからイベントを取り込むためのMicrosoft Azure Event Hub統合を有効化Azure IoT Edge統合は、SAS Event Stream ProcessingのAzure IoT Edge Hub統合でサポートされています。
- SAS ESP Kubernetes Load Balancer は、マルチキャスト、ハッシュ、ラウンドロビンの手法を使用したイベントの自動配信をサポートし、各プロジェクトの展開時の構成も簡素化します。
- ストリーミングデータソース接続用のAmazon Web Services KinesisコネクタとRedshiftコネクタを提供
- マルチテナントおよびマルチユーザー環境と統合できるマルチテナント対応の展開を有効化
インストリーム学習モデル・ウィンドウ
インストリーム学習モデル・ウィンドウ
- 異なるウィンドウタイプを組み合わせて、データストリームの入力ソース、関心のあるパターン、および派生出力アクションを指定可能ストリーミング・モデル・ウィンドウには以下が含まれます。
- 学習（Train） – 高度な分析モデルをインストリームで開発し、結果のモデル更新をスコアウィンドウに引き渡し
- スコア – スコア出力を生成するために、トレーニング済みのSASとオープンソース（PythonおよびONNX形式）モデルを現在のイベントに適用。また、トレーニングとスコアリングの両方を利用する学習モデルをサポート
- 計算（Calculate） – オフラインASTOREモデル、Pythonコード、データ正規化／変換手法、さらには、トレーニングとスコアリングを一緒にバンドルする学習モデルを用いて利用
- モデルスーパーバイザ – 展開するモデル、展開するタイミング、展開する場所（スコア枠など）の制御
- モデルリーダー – SASモデルとオープンソース（PythonおよびONNX形式）モデルを統合し、他のストリーミング・アナリティクス・ウィンドウ（スコア枠など）に対してモデルをパブリッシュ
ストリーミング・データの利用と接続に関する機能
ストリーミング・データの利用と接続に関する機能
- 構造化データと非構造化データ（映像、音声、画像など）のどちらについてもライブ・データ・ストリームの発行と受信を行うことができる豊富なデータ・コネクタ
- 読み取りと書き込み（パブリッシュとサブスクライブ）に対応したすぐに使える定義済みコネクタ：
- アダプタコネクタによってSAS Event Stream Processingプロジェクト内部からのアダプタ管理が容易になるため、アダプタ・オーケストレーションが簡素化（コネクタ・オーケストレーションに類似）
- Aerospike（プラグイン・テクノロジーを使用）
- Amazon Web Services：KinesisおよびRedshift
- Apache Camel
- Audio data
- Axeda
- BACNET
- Cassandra
- Common Event Format（CEF）
- Database ODBC：IBM DB2、Oracle、IBM Netezza、Sybase ASEなどのデータベースをサポート一覧表については「データドライバーのサポート」を参照してください。
- Event Stream Processor
- ファイル/ソケット
- HDAT Reader
- HDFS
- IBM WebSphere MQ
- JMS
- Kafka
- MapR
- Modbus
- MQTT
- Nurego
- OPC-UA
- OPC-DA
- OSIsoft PI Asset Framework
- Project Publish
- QuasarDB
- QuasarDB
- RADAR（Asterix CAT240フォーマットをサポート）
- REST
- SAS Cloud Analytic Services
- SASデータセット
- 独自のPublish/Subscribe用APIをCまたはJavaで記述することも可能
- SAS LASR Analytic Server
- Solace
- Teradata
- Tervela Data Fabric
- TIBCO Rendezvous
- Timer
- URL
- WebSocket
- XML/JSONファイル・ソケット・アダプタ
- 以下からはSAS Event Stream Processingのみへのパブリッシュが可能：
- BoardReader
- HTTP RESTfulインターフェイス群
- ログ・スニファー（Oracle、Greenplum）
- ネットワーク・スニファー
- SYSLOG
- SAS Event Stream Processingから以下に対しては、Subscribeのみ可能
- SOAP
- SMTP
- IoTイベント・ソース用に構築されたコネクタ：
- Modbus
- MQTT
- OPC-UA
- OPC-DA
- UVC Camera
- PylonCamera
- Modbus
- OSI PI Historian
- BACnetゲートウェイ・デバイス
- Kafka
- Cassandra（アダプタのみ）
- Boar
- dRea
- der
- 主要なデータ・ストリームをサポート：
- Azure IoT Event Hub
- Azure IoT Edge Connector
- Hortonworks DataFlow (HDF) NiFi統合 – SASとHDFの連携により、ストリーミング・データに基づくディープ・インテリジェンスを瞬時に提供することが可能
- 静的データ結合 – データベースまたはファイルからの静的データを統合して、ODBCデータベース・アダプタおよびコネクタのサポートをデータベース・ドライバと組み合わせて使用し、ストリーミング・データを強化します。
適応性の高いインストリーム分析とデータ操作
適応性の高いインストリーム分析とデータ操作
- 機械学習ストリーミング・アルゴリズムのサポートにより、ユーザーは多様な継続学習アルゴリズムのためのスコアリング／学習のウィンドウを作成することが可能です。モデルを周期的に更新するために学習ウィンドウとスコア・ウィンドウの組み合わせが使用されます。これには以下が含まれます。
- ストリーミング線形回帰
- ストリーミング・ロジスティック回帰分析
- サポート・ベクター・マシン（SVM）：
- k平均法クラスタリング
- レコメンダ
- t分布型確率的近傍埋め込み法（t-SNE）
- SAS Event Stream Processingにパッケージされているインストリーム・アナリティクスは以下を標準装備：
- 組み込みの画像処理（トリミング、サイズ変更、回転、反転）
- ビデオ・エンコーディング
- Butterworthフィルタ
- Cepstrum変換
- 変化の検出
- Chebyshev Type IまたはType IIフィルタ
- 密度ベースのクラスタリング（DBSCAN）
- ディリクレ・ガウス混合モデル
- 分布フィッティング
- 当てはめの統計量
- ヒストグラム
- Kalmanフィルタ
- カーネル主成分分析
- ラグ・モニタリング
- 移動相関範囲（MRR）
- パラメトリック・パワー・スペクトル密度
- ピーク・ファインダー
- セグメント相関
- ストリーミング・ピアソン相関
- 受信者操作特性（ROC）
- ロバスト主成分分析
- セグメント相関
- シャプレー値
- 短時間フーリエ変換
- スライス操作
- スライス・ピーク・ファインダー
- スムージング
- 安定性モニタリング・スコアリング
- ストリーミング・オーディオ機能計算（音声テキスト変換）
- ストリーミング・サマリー（単変量／多変量統計量）
- 部分空間追跡
- T検定
- テキストトークン化
- テキスト・ベクトル化
- テキスト文字起こし（音声テキスト変換）
- ワイブル分布当てはめ
- 畳み込みアルゴリズム
- 高次元デジタル信号処理
- Hampelフィルタ
- オンライン再帰的ICA
- ストリーミングKTチャート・モニタリング
- SAS Event Stream Processingにパッケージされているオフライン・トレーニング用アルゴリズムは以下を標準装備：
- ロバスト主成分分析
- ベイジアン・ネットワーク
- ディープ・ニューラルネットワーク：
- 畳み込みニューラル・ネットワーク
- リカレント・ニューラルネットワーク
- FM（Factorization Machine）
- 一般線形モデル
- 一般化加法モデル
- 一般化線形マルチタスク学習
- 一般化線形回帰モデル
- 勾配ブースティング・ツリー
- ランダムフォレスト
- レコメンダ（暗黙的および明示的フィードバック）
- 正規化マトリクス因数分解（RMF）
- サポート・ベクター・データの説明
- サポート・ベクター・マシン（SVM）：
- TFIDF（Term Frequency-Inverse Document Frequency）
- 複雑な「継続的なクエリ」を定義するための柔軟でモジュール式のウィンドウ駆動型アーキテクチャ：
- 相互交換可能な一連のウィンドウ・タイプと演算子を利用することで、件数制限なしでのパターン検出、相関、計算および集約を行うことが可能
- 構築済みの共通データ品質ルーチンを用いて、ライブストリーム・データを蓄積する前にクレンジング、標準化、フィルタリングを行えるため、後続の処理が軽減
- 関心対象のパターンには、ほぼ無制限の高度なアナリティクス計算（インストリーム機械学習によるk平均法クラスタリングや、ライブストリーム分析スコアリングを用いたもの）を含めることが可能
- イベントの状態とデータを変換し、受信ストリーミング・イメージを操作するためのイベント・ストリーム・ウィンドウ：
- オブジェクトの検出と分類のユースケースを目的とした画像のサイズ変更、回転、トリミング、反転操作と強力なコンピューター・ビジョン・アルゴリズムの組み合わせ
- 「ジオフェンス」ウィンドウ・タイプにより、ユーザーはジオフェンスの境界に対する物体の相対位置を追跡することが可能定義済みのジオフェンス境界に物体が接近、侵入、または境界から退出したときにアラートを発行。侵入後は、ジオフェンス境界内部でエンティティを追跡
- 転置：イベントの行を列として、または列を行として交換
- 状態の削除：モデルのステートフルな部分からモデルのステートレスな部分への移行を促進
- マルチ・オブジェクト・トラッカー（MOT）：マルチオブジェクト・トラッキング（MOT）をリアルタイムで実行可能
- トレーニング：（正確なモデル開発のための）履歴データに関するモデル・トレーニングは保存データのHigh-Performance Analyticsを補完
- SMS、電子メール、その他のアラートによる通知を、イベントストリーム・モデル・ワークフローの一部として定義およびカスタマイズすることが可能
- Luaウィンドウ：Lua関数を実行して、高速数学演算、データ変換、およびXML/JSON文字列管理を可能にします。
- StateDBウィンドウ：StateDBウィンドウでは、外部に展開された高パフォーマンスのデータベースを使用して、結合と集計に必要な状態を格納および維持できます。
- 以下の解析モデルがサポートされます。
- SAS ASTORE
- DATAStep2
- DATAStep
- SASまたはサードパーティのフレームワーク（TensorFlow、PyTorchなど）のONNX形式
- Pythonコード
- Cコード
- ゲートウェイ、エッジ・デバイス、スティック型PC、および既存のC++アプリケーション（専用のスレッドプール処理を使用）に埋め込むことが可能
ローコード設計時環境
ローコード設計時環境
- ローコードのグラフィカル開発環境またはデータ・サイエンティストに適したJupyter Lab Python開発環境が利用可能で、ESPストリーミング・プロジェクトの設計、テスト、バージョン管理、パブリッシュのためのオープンで直感的なオプションを提供。
- 解析モデルは、SAS Model Managerを使用して簡単に統合可能。モデル管理では、分析モデルの迅速で自動化された統合とモニタリングを実現できます。
- Model Managerのモデル・リポジトリを参照することで、高度なアナリティクス機能を容易に探し出し、SAS Event Stream Processingプロジェクトに組み込むことが可能
- 大規模な解析モデルのフィルタリングと検索を迅速に行い素早くアクセスを実現
- SASログオンによる認証により、ユーザー・アクセスを簡素化／統合
- ネイティブのViya Postgresを、ESPプロジェクト・ストレージ用の管理型の永続的なデータストアとして使用
- クラウド内のESPサーバー用に配信される新しいKubernetes演算子フレームワークとDockerコンテナを使用したマルチテナント対応
- 強化されたテストモードにより、最も重要なデータに集中することが可能
- ESP Serverポッドの自動作成と破棄により、最適なリソース使用率を実現
- 応答の高速化とカスタム出力ウィンドウの選択に向けて更新されたUI
- デバッグを簡素化するためのESPサーバー・ログへのアクセス
- テストモード以外でプロジェクトを実行し、実行時間の長いテストを実施
- ユーザビリティとユーザー・エクスペリエンスの改善：
- ESP Studio UIから Kubernetes ESP Serverのプロパティを表示および更新
- アプリケーションのレイアウトが更新され、テストと設計が簡素化
- 式を迅速に検証するための、計算、結合、フィルタ、集計ウィンドウ内で統合されたインライン先行入力式の検証
- ESPクラウド・サーバー・テスト・モード用に構成可能なメモリ、インスタンス、およびCPU設定
- ダイアグラムとレイアウトが改善され、より直感的なビューを実現
- サーバー定義を簡略化するための新しいテスト・サーバー管理ページ
- カスタマイズされたテスト結果レイアウトのウィンドウ選択で出力スキーマ・パネルを改善
- ESPプロジェクトの構文とプロパティの検証が強化
- 使いやすい式エディタ
- 式を記述および検証するためのユーザーフレンドリーなエディタ
- 関数とスキーマ情報の両方の先行入力オートコンプリート
- ESPでサポートされているすべての関数と演算子を使用可能
- SAS Event Stream Managerとの統合
- メジャーバージョンとマイナーバージョンの選択を含むプロジェクト・バージョン管理をサポート
- SAS Event Stream Managerのマイナー・バージョン・アップデートは、SAS Event Stream Processing Studioにプッシュバック
- パブリッシュされたプロジェクトはSAS Event Stream Managerに自動的に表示
ESPの運用とモニタリング
ESPの運用とモニタリング
- エッジまたはクラウドのSAS Event Stream Processingサーバーで実行されるプロジェクト向けに使いやすいインターフェイスを使用して反復可能な展開計画を構築および管理
- サーバーのコレクションをモニタリングし、管理を簡素化するための展開を素早く作成
- デプロイメント・エラーを特定し、要注意のサーバー群でのみ操作を再試行
- SAS Event Stream Processingサーバーについてフィルタ済みのリストを作成した上で、デプロイメント操作を適用
- 迅速な自動化とユーザー・プロンプトのための反復可能な展開スクリプトを作成し、SAS Event Stream Processingプロジェクトの運用化を簡素化
- 測定サーバーの表示で消費されるマイナーなイベントをモニタリングし、ライセンスおよびホストごとのイベント使用パターンを特定
- 新しいSAS Event Stream Processingサービスを簡単に追加し、エッジ展開のモニタリングを改善
- ESP クラスター・サーバーのモニタリングは、クラウド内のクラスター化されたマルチテナント環境をサポート
- ESPサーバーのモニタリング
- クラスター化されたKubernetesポッドとコンテナをサポートするための動的なESPクラウド・サーバーの管理と構成
- ESP Kubernetes演算子フレームワークを使用してESPサーバーの作成と破棄を自動的に管理
- ESPハートビート・モニタリング、ESPサーバーの状態レポート、およびESPサーバーのパフォーマンス統計を網羅するモニタリング
- SAS ESP Serverモニタリングのためのプロメテウス統合
- クラスター内のリソース使用状況の履歴を経時的に表示
- ポッドの統計を探索することでリソースの問題を早期に特定し、すべて明確でわかりやすいUIで提供
- アクティブに実行されているESPポッドと以前に実行されていたESPポッドの両方のログ情報を表示
- ユーザビリティとユーザー・エクスペリエンスの改善
- SAS Event Stream Processingプロジェクトをクラウドに素早く展開するための検索およびフィルタ機能
- 本稼働環境でプロジェクトを実行する際の問題のビジュアルな指標
- より応答性の高いUIによって更新が高速化
- 新しいチャンピオンモデルに対するSAS Model Managerからのアラートにより、展開管理が改善され、データ・サイエンティスト・チームとのコラボレーションが強化
- サーバー構成レポートが強化され、クラスターのメモリとCPU使用率がハイライト表示
- 合理化された運用と迅速な展開のための展開制御
- UIから1回のクリックでテンプレートのないプロジェクトを読み込んで開始
- UIから1回のクリックでテンプレートのないプロジェクトを停止およびアンロード
- SAS Event Stream Processing Studioとの統合
- パブリッシュされたプロジェクトは、共有ファイルの場所とともにSAS Event Stream Managerに自動的に表示
拡張された展開とオープンソースのサポート
拡張された展開とオープンソースのサポート
- SAS Event Stream ProcessingをIoTアプリケーションのエッジに展開：
- SAS Event Stream Processing for Edge Computingは、小さめのエッジデバイスに対する簡素化された導入展開のために、小規模かつ設定可能なディスク・フットプリントを実現
- SAS Event Stream Processing for Edge Computingの標準化された導入展開のために、Dockerコンテナによる導入展開をサポート
- SAS Event Stream Processing Python開発インターフェイス：
- SAS Event Stream Processingプロジェクト全体を通じて、使い慣れたオープンかつ柔軟なPythonインターフェイスを用いてイベントの開発、パブリッシュ、テスト、ストリーミングを行えるため、開発スピードが向上
- Pythonパブリッシュ／サブスクライブAPI – Pythonを用いて、SAS Event Stream Processingに対するイベントのパブリッシュやサブスクライブを実行
SASとオープンソース言語のサポート
SASとオープンソース言語のサポート
- SAS Event Stream Processing for SAS Viya® およびCAS – ストリーミング・アナリティクスのために、SAS Data Mining and Machine Learningのモデル群をSAS Event Stream Processingに展開
- SAS Event Stream Processingプロジェクト内のストリームにおけるPython実行のサポート特許取得済みのマイクロアナリティック・サービス・テクノロジーを使用したPythonのネイティブ・インメモリ実行
- エッジ（オンサイト）およびクラウド（Docker）のGPUプラットフォームにおけるネイティブONNXモデル推論のサポート
- サポートされているSASプログラミング言語には、SAS DATAStep2とSAS DATAStepがあります。
- MapRストリーム・サポート – Kafkaアダプタは、パブリッシュとサブスクライブに関してMapRコンバージド・データ・プラットフォームと連携して機能することが認証済み
- SAS Event Stream Processingにイベントを挿入し、SAS Event Stream Processingからのインサイトをリッスンするために、SAS Event Stream ProcessingサーバーにパブリッシュおよびサブスクライブするためのPythonパブリッシュ／サブスクライブAPIをサポート
イベントストリームの視覚的なモニタリング
イベントストリームの視覚的なモニタリング
- ストリーミング・データとSAS Event Stream Processingプロジェクトのインサイトのビジュアル化のサポートには以下が含まれます。
- SAS Event Stream Processing Streamviewerアプリケーションに対する承認済みのアクセスについて、ログオンサポートによるセキュアなアクセスを確保
- リアルタイム・ストリーミング・ダッシュボードにおけるSASグラフのStreamviewerのサポート
- Streamviewerのリアルタイムの洞察を配信できるように、Streamviewerコンポーネントはアプリケーションへの組み込みに対応
- 信頼性と高速性に優れたSAS Event Stream Processing Server接続性のためのWebSocketサポート
- ストリーミング・アクティビティのカスタマイズされたテストのためのユーザー設定可能なダッシュボード
- 対話操作型のフィルタ機能やクエリ機能を用いてライブストリーム・アクティビティのパターンをとらえ、目的の要素の特定の挙動を検査することが可能
- SAS Event Stream Processingサーバーからのイベントをモニタリングするための新しいWebソケットサポートにより、応答が高速化
- グラフィック表現を用いて、現在進行中の処理をアクティビティ履歴と比較することが可能
- 関心対象のイベントを受信することにより、ストリーム処理の詳細をモニタリング