アナリティクスから最大限の価値を速やかに引き出すために

クラウドにおけるAIとアナリティクスの最適化

SAS Viya Logo

クラウド・コンピューティングの世界では文字通り「パフォーマンスは金なり」であり、その主な要素はコスト管理、収益性、価値実現時間です。

組織にとって最もパフォーマンスの高い基盤を確立することは、現在のニーズを満たし、将来に備える上で非常に重要です。

The Futurum Groupが実施したベンチマーキング調査は、SAS® Viya® が企業クラウドユーザー向けのアナリティクス・プラットフォームとしてコストパフォーマンスとコスト意識に優れていることを示しています。この調査によると、SASの「AI／アナリティクス・プラットフォームは主要な商用およびオープンソースの代替品に比べ、平均で30倍の高速化と86%の費用対効果向上をもたらし、優れたスケーラビリティも備えている」とのことです。

コンピューティングにおける一般的な見解は「パフォーマンス＝時間」です。パフォーマンスの理想的な状態は、実行時間に影響を与えずにリソースを最大限に活用できている状態です。

右側の図は、その理想的な結果をごく簡単に示したものです。図1では、コア数が2倍になると実行時間が半分になっています。図2では、ワークロードの実行中にCPUの能力を最大限まで使っています（言い換えると、コア数を増やした場合も、それに応じた数量のワークロードを処理させています）。クラウド環境でアナリティクス・プラットフォームのコストパフォーマンスを最大限に高めるためには、これらの理論上の極値にできるだけ近づくように運用する必要があります。

図1： 実行時間 vs 利用可能なコア数

Just The Facts E-Book Figure 1

図2： CPU使用率 vs 利用可能なコア数

Just The Facts E-Book Figure 2

The Futurum GroupによるSAS Viyaベンチマーク調査の詳細は、こちらからご確認いただけます

エグゼクティブ・サマリーのダウンロード：「The Futurum Group: Faster AI & Analytics: SAS Viya Outperforms the Competition」

あるいは、Lab Insightレポート全文のダウンロードはこちら

企業がクラウドから後退する最大の理由

こうした理想の状態に遥かに及ばないことが、企業がクラウド戦略を途中で諦める主な理由です。そしてこれは、ワークロードの実行コストを十分に理解しないままで戦略を追求した結果です。業界アナリストのIDCによる別の調査研究では、パブリック・クラウドの顧客の80%が一部のワークロードをオフクラウドに戻しています。

この後退の主な要因は次の通りです。

19%

セキュリティ

14%

パフォーマンス

12%

コスト

12%

コントロール（統制）

クラウドに関するニーズを最適化すること、それが最初のステップ

クラウド最適化プロセスを持たない組織は約40%もの支出超過に陥る傾向が見られます。これを引き起こす原因は、管理外のコスト、想定外の利用、最適ではない設計と実装、不適切にサイジングされた本番環境、開発環境・テスト環境における無駄などです。SASは「クラウド移行戦略を実行したり、既存の戦略を補強したりする前に、まずはお客様のアナリティクス変革の取り組みを正確に評価する」という進め方でお手伝いすることができます。

お客様はエコシステム診断を活用することで、リソース消費が最大のワークロードや実行時間が最長のワークロードを特定し、クラウド環境とワークロードのサイジング要件を生成し、さらには「データ／ロケーション／ルーチン／ユーザー間の相互依存性も考慮に入れたクラウド戦略やデータ戦略」についてビジネス上の正当性を判断することができます。

消費に関する指標を詳細に把握することで2つの強力な洞察が得られます。1つ目は、クラウドのコストとパフォーマンスの期待値に関する合理的予測とそれらを改善可能な場所です。2つ目は、クラウド環境から恩恵を受けるワークロードとデータ（そして、移行されるべきでないワークロードとデータ）に関する妥当なマップの作成です。

クラウド支出は年々増加しており、企業のコストに占める割合も増え続けています。その結果、クラウドのインフラ費用は上級経営幹部にとって、ますます重要になってきています。推計では、「クラウド最適化が不十分なこと」および「組織の分析エコシステムの利用量をサポートするには小規模すぎるクラウド利用契約に対し、結局は追加的な従量課金料金を過剰に支出してしまうこと」の直接的な結果として、80%の組織がクラウドインフラに関して予算超過になると考えられています。

クラウド支出は年々増加し、企業のコストに占める割合はますます大きくなっています。その結果、クラウドのインフラ費用は上級経営幹部にとって、ますます重要になってきています。

要件が変わり続ける中でコストパフォーマンスの調和点を見極める

さまざまな制約が入り込むにつれて計算の在り方も変容します。アルゴリズムに供給されるデータは、ハードウェアや “アルゴリズムのディストリビューション（≒配付バージョン）” による制約を受けます。データ自体やそのデータをコンピューティング・チップに分散する方法を変更した結果として、計算のパフォーマンス、コスト、精度が変わる可能性もあります。

SAS Viyaは、お客様が「アルゴリズム、データ、チップ・ハードウェアの完璧な調和」を実現できるように複数の方法で支援します。

SAS言語はパフォーマンスの高いプログラミング言語であることが証明されています。大規模なジョブを実行する環境で頻発し、不必要な追加費用の発生につながる問題として「非効率なCPU利用や高いメモリ要件」に伴うリソース不足がありますが、当社のアルゴリズムはCPU使用率、実行時間、メモリ使用、入出力速度を最適化することで、多くの場合は「そうした不足を補うためにインフラを追加購入する必要性」をなくします。このように、計算コストとパフォーマンスを両立させることで最高の結果を得られます。

SAS Viyaは包摂的であり、オープンソースのアルゴリズムを積極的に採用・改善しています。Python、R、またはその他の言語で記述する多くのデータサイエンティストは、Viyaが提供する安定性、パフォーマンス、手頃な価格、モデルガバナンスをすぐに活用できます。また、既存のモデル・トーナメントの一部として新しいアルゴリズムを実行する機能も利用できます。

SASは先進的なオープンソース・アルゴリズムを積極的に特定し、Viyaに取り込んでいます。並列処理の迅速化、コア使用率の最大化、新たな進歩の提供に関して優れたアルゴリズムであれば、SASは最大の成果を得るためにそのアプローチを進んで取り入れ、必要に応じて改良します。

ユーザーはPythonからSAS Cloud Analytic Services（CAS）アクションを呼び出すことで、最適なコストパフォーマンスを確実に追求できます。SASは、ユーザーがアナリティクス・パイプラインのパフォーマンスおよび再現性を確保できるよう支援するために、利用可能なすべての選択肢から最適なものを選ぶ作業を補助する機能も提供しています。

SAS Viyaは包摂的であり、オープンソースのアルゴリズムを積極的に採用・改善しています。Python、R、またはその他の言語で記述する多くのデータサイエンティストは、Viyaが提供する安定性、パフォーマンス、手頃な価格、モデルガバナンスをすぐに活用できます。

コストパフォーマンスの調和とはどのようなことか？

ここでは、一般的な分析アルゴリズムであるロジスティック回帰分析のワークロードをViyaとオープンソース・パッケージ（OSP）で実行した結果を比較検討してみましょう。モニタリング・テクノロジーを導入すると、実行セッションのパフォーマンスをこのように観察することができます。

ワークロード実行の詳細を表示する

図3を見ると、Viyaの実行結果は期待通りです。コア数の増加に応じて実行時間が短縮されているほか、コア数を増やした場合も一貫してSAS環境がOSP環境よりも明らかに高速でした。OSP 1は、8コアのときにSASに最も近い結果を出していますが、コア数が増えるにつれてSASとの差が広がっています。このようにコア数を増やしても実行時間が改善されない（場合によっては実行時間が長くなる）ことは、コストの上昇につながります。こうした結果はThe Futurum Groupのベンチマーク調査でも確認されており、そこでは以下のことが示されています。

  • Viyaは、すべてのテストシナリオにおいて、すべての代替AI/MLソリューションよりも平均で30倍高速である。
  • Viyaは、すべてのアルゴリズム、データサイズ、ワークロードにおいて、Sparkベースのデータ／AIプラットフォームよりも平均で49倍高速である。いくつかのケースでは、Viyaは最大で326倍も高速である。

図3： 実行時間 vs 利用可能なコア数

Just The Facts E-Book Figure 3

図4： CPU使用率 vs 利用可能なコア数

Just The Facts E-Book Figure 4

図4の例は、ワークロード実行中にCPUがどれほど効率的に使用されているかを表しています。まず、SAS環境のCPU使用率は8コアと16コアの場合に他のコア数の場合よりも高くなっているだけでなく、2つのOPS環境よりも高くなっていますが、これはViyaの分散処理の実行効率の高さが分かりやすく反映された結果と言えます。次に、ピンクの線が16コアを境に右下がりなのは、図3の実行時間も同様に右下がりであることを考え合わせると、ワークロードが短時間で完了し、解放されたコアを必要に応じて他の作業に再割り当てできるだけなく、ワークロードの実行中も各ワーカーノードの計算能力には余裕があり、32コアを超えるとその余裕が増えていくことを示唆しています。それに対し、2つのOSP環境では、どのコア数でも高めのCPU使用率が維持されているものの、実行時間が大きく改善されているわけではありません。これは、車のギアを1速から2速、3速と上げていっても速度が上がらない状況に似ています。

SAS Viyaは数分で結果を生成しますが、競合製品は実行が数時間に及ぶか、単純に失敗するのです。

ラス・フェローズ（Russ Fellows）氏、The Futurum Groupのシニアパートナー兼アナリスト

パフォーマンスを最適化することの価値

クラウド・コンピューティングの世界では「パフォーマンスは金なり」です。ほとんどの企業は不要なコストを削減するために、アナリティクス・ワークロードの実行が完了した時点で、あるいは非本番環境のオフピーク時間中は、クラウドリソース（の一部）をオフにすることを選択します。

しかし、優れた費用対効果を達成し、生産性を最大化するためには、「クラウドリソースが使用されている時間」（これがクラウド支出に直接反映されるため）と、「クラウドリソースが稼働状態のときに実行できるワークロードの数」の両方を考慮しなければなりません。そして、もう一つの重要な考慮事項は「利用可能なCPUを効率的に使用すること」です。

図5： CPU使用率100%で1時間に実行した回数

Just The Facts E-Book Figure 5

図5に示した理論上の例は、「利用可能なコンピューティング・パワーのすべてをSAS Viyaを用いて使い切る組織は、2つのOSP環境と比較して非常に多くのワークロードを実行できる」ということを表しています。その結果、組織は次のような多面的なメリットを得ることができます。

  • 「コストを最小限に抑えながら、望ましいビジネス成果を達成する」ために必要なコンピューティング・パワーの要件が低減します。
  • あるいは、コンピューティング・パワーを増強しなくても次のことを実現できます。
    • 作業時間が同じでも、より多くの分析ワークロードをより短時間で実行し、より優れた結果を達成できます。なぜなら、アナリティクス・プロセス（調整、実行、結果の検証、およびこれらの繰り返し）は本質的に反復的な取り組みだからです。
    • クラウドリソースをオフにできるタイミングが早まるため、コスト削減が促進されます。

なお、ここで言及しておく価値のあることが一つあります。それは、このテストではViya環境、両OSP環境ともデフォルト設定を使用していたため、コードをさらに最適化すれば3つのどのケースでも実行時間を改善できる可能性があるものの、これには相当なレベルの専門知識、時間、労力が必要となり、そのすべてが大幅なコスト増につながる、ということです。

当社の分析によると、上記のような多面的メリットによってパフォーマンスが最適化される結果として、組織は「計算コストの大幅な削減」と「生産性の向上」を達成することができます。The Futurum GroupがViyaを市販の代替製品と比較した結果でも、Viyaのユーザーは、機械学習モデルを開発・実装する際のスピードとスケーラビリティのおかげで、コストを平均86%削減できることが確認されています。

オープンソースの開発コミュニティは広大ですが、ベストであるかどうかは信頼・信用の提供にかかっています。

クラウドと分散コンピューティングでは、「パフォーマンス」、「計算コスト」、そして「結果の再現性と正確性」に影響する新たな制約が生じます。SAS環境とOSP環境のワークロードを比較することは、SASが主要なオープンソースおよび商用の代替品をSAS Analyticsに照らして評価する方法の一例にすぎません。

オープンソースのアルゴリズムを取り込めるViyaなら、分析担当者はどのアルゴリズムを使用するかを問わず、常に最良の結果を追求できます。ただし、アナリティクスを本番環境に投入する際に実効性と効率性を確保するためには、いくつかの機能特性も必要です。例えば、さまざまなソースのデータを適切なサイズ／タイプ／形状のデータセットに一般化できることや、モデルのドリフト（不安定さ）を管理できることなどですですが、Viyaはこうした機能特性も完備しています。

SASのアルゴリズムに必須の機能特性：

(実効性と効率性; コスト意識; 再現性（反復実効性）; 正確性（精度）; 倫理性と責任性)

SASはオープンソースのアルゴリズムに関しても、同じ機能特性を提供できるかどうかを評価するために継続的にテストしています。オープンソースのアルゴリズムがこれらの機能特性の大部分を提供できる場合、SASはそれをViyaプラットフォームで採用可能な状態になるまで改善します。こうすることで、Viyaに搭載されたアルゴリズムのユーザーは、「コーディング」、「テスト」、「解釈」、さらには「アルゴリズム／データ／ハードウェアの優れた調和を達成しようとする取り組み」に費やす時間を短縮できます。その結果、ユーザーは成果を上げることに注力できるようになります。

クラウド財務啓発のための支援が登場

クラウドコストが適切に管理されていない状況への懸念の高まりから、FinOps Foundationが設立されました。この組織はクラウド財務に関する「ベストプラクティス・ハブ」および「認証プロバイダー」として、クラウド財務管理に関するガイダンスを提供しているほか、広範囲なクラウド採用によって急速に進む “組織文化の変化” を良い方向に導く取り組みも支援しています。

同組織の目的はクラウド支出のビジネス価値を最大化することであり、そのためには、FinOps Foundationによると「エンジニアリング、財務、ビジネスの担当チームが、支出についてデータドリブンな（データ駆動型の）意思決定を行うために協働する」必要があります。これは「さまざまな部門・部署がクラウド利用に関する責任を共有し、クラウドのコストを念頭に置いた上で、クラウド・コンピューティングがもたらす多様なコストメリットを一丸となって最大限に活用する」という新しい世界です。

これらの財務的考慮事項は、アナリティクス駆動型の企業が正確性と再現性を改善することの必要性に、あらためて光を当てます。だたし、さまざまな改善策を講じたとしても、アルゴリズム／データ／ハードウェア間の調和が完璧でなければ、エラーや不正確性が増すだけです。

1個のプロセッサで単一の正確な結果（例：平均値）を生成するのは簡単なことです。しかし、データを分散処理にかける場合、個々のワーカーノードが「信頼性の高い結果」を生成する能力は、個々のチップの仕様上の制限を受けます。そのため、一元管理型の組織化原理が適用されない限り、その分散処理は最終的に「不正確な全体結果」（例：不正確なマクロ平均値）を生成してしまいます。その処理は速いかもしれませんが、正確ではなく再現性もありません。

アルゴリズムをコンピューティング・チップに分散する方法を変えるたびに、異なる結果が生成されることになります。Pythonでは、アルゴリズムをコンピューティング・チップに分散する際の「適切な設定」をユーザー側に要求することで、この変動（ばらつき）に対処しています。これは対処策としては効果的かもしれまんが、このようなマッピングを熟知したユーザーによる手作業のコーディングが必要になるため、生産性の低下、クラウドコストの増加、分析結果の信頼性リスクにつながります。

SASは「信頼性の高い結果」の確保を支援します

SAS Viyaは、分散処理では結果が不正確になりそうな場合はその旨をユーザーに通知し、そのワークロードを実行するための最適な選択肢がシングルスレッドのプロセスであることを示します。

ここまで述べてきた機能のすべてを用いることで、Viyaは予測モデリングの土台石（コストパフォーマンス、生産性、正確性、再現性）を支えるための強固な基盤を形成します。Viyaは、初期コストが低いという理由でオープンソースを採用するユーザーが直面する一般的なリスクを排除するために役立ちます。

例えば、実効性の低いアナリティクス・パッケージや実行エンジンを使用しながら大容量のクラウド利用契約に定期的に支出していると、コストが増大するだけなく、劣悪な結果しか得られない恐れがあります。お客様の目的が「従来のオンプレミス・コンピューティングからの移行」なのか、「既存のクラウドの経済性の見直し」なのかを問わず、Viyaは、変動するワークロードにどのようにクラウド利用契約を適用するかのバランスを調整しながら柔軟性とスピードを向上させるために役立ちます。私たちは、これこそがクラウドにおけるアナリティクス・パフォーマンスの理想的な状態であると確信しています。

これは「クラウド利用に関する責任を集団で担い、クラウドコストの最新状況を常に把握し続け、クラウド・コンピューティングがもたらす多様なコストメリットを最大限に活用する」という新しい世界です。

コストはアクセスとイノベーションの制約要因なのか？

パフォーマンスは時間節約だけの問題ではありません。パフォーマンスが向上すると、組織は生産性を高めることができます。自動機械学習（AutoML）は「優れた答えを出しうるモデル」を大量に生成しますが、大規模なプロジェクトのモデルを反復実行するたびにクラウド利用料を支払うとしたら、それは理想とはかけ離れています。これは特に、テクノロジーが遅い場合に当てはまります。そのような場合に生じがちな意図しない結果は「データサイエンティストがコストを最適化しようとして、トーナメントで競わせるモデルの数の減らす」という事態であり、これはプロジェクトに不利益をもたらします。

図3で一例を紹介したように、当社の調査研究では「SAS環境は、より多くの物理インフラを利用する主要な2つのOSP環境よりも格段に高速に実行できる」ということが実証されています。つまり、SAS環境なら、データサイエンティストはコストを膨らませることなく、より多くのモデルを実行できます。

簡潔に言うと、大規模なトーナメントほど優れた答えをもたらします。ただし、クラウドのコスト構造には、それ以前のコンピューティング・エコシステムで考慮されてきたものとは異なる追加的な枠組みが必要です。それはすなわち、「新たなタイプのコスト制約の範囲内で、価値を確保しながら望ましいゴールを達成する」という考え方です。

機械学習モデルの開発に必要なすべてのステップは、クラウドの料金メーターが作動している間に発生します。この新たな現実は、実行時間のコストだけでなく分析設計時間のコストに関する責任も負うことになったユーザーに新たな原動力をもたらします。

シチズン・データサイエンティストやビジネス分析担当者は、コストの制約による過重な負担に苦しんだり大量のコードを記述したりすることなく、より高度なアナリティクスを実行できるようになる必要があります。だからこそ、ノーコード型／ローコード型のインターフェイスでSASアルゴリズムを利用できるViyaは、非常に強力な武器になりえます。そのような環境なら、大量のコーディングや過重な負担を回避することができます。また、モデルのコーディング時間の短縮や、新規ユーザーにとっての取り組みやすさが実現するほか、データ／アルゴリズム／チップ間の調和を完璧に近づける努力を自力で行う必要もなくなります。

コストはアクセスとイノベーションの制約要因なのか？

この新たな原動力は、コストパフォーマンスの重要性と、SASがこの問題に高い関心を寄せている理由に、あらためて光を当てます。オンプレミスの世界でパフォーマンスの制約に対処する際は、より多くのCPUコアを購入してその費用を資産化します。この場合、（内部人件費以外の）インフラ運用コストの主体は減価償却費と長期サポート契約になるため、IT支出の予測可能性が高まります。クラウドの世界では、IT支出はエッジで発生し、必要に応じてリソースのスケーリングも行われます。そのため、IT支出の予測は難しくなり、また、大幅に割引された長期クラウド利用契約によるメリットを享受できる可能性も阻害されます（長期割引が得られるとしても、その対象は基本料金のみであるケースが一般的と思われます）。こうした購買行動の変容により、クラウド・コンピューティングでは過大な費用を支払うリスクが高まっているのです。

この原動力に関して考慮すべきもう一つの要素は、コストに関する意思決定がIT部門や購買部門ではなくモデルを実行するチームの手に委ねられている、ということです。クラウド【の世界】では、システム・エンジニアがインフラを調達し、アルゴリズムを選定し、データ量を選択し、さらには、ワークロード実行時の財政責任も負うことになります。

その結果、企業や組織は今、クラウドにおけるエンジニアリングの財務的責任の強化に向けて経営陣、財務部門、システムエンジニア、プロダクトオーナーを導くために、“FinOpsユニコーン” を見つけようとしています。

アナリティクス・ユーザーは、より優れたビジネス・ソリューションを見つけるために時間を使いたいと考えています。しかし実際には、「コードを記述すること」や「コストパフォーマンスに優れたものになるように確実に個別調整すること」、あるいは「コスト制約を守るためには、構築およびテストするアルゴリズムとモデルの数を減らすしかない、と自覚すること」に時間を費やしています。これらの考慮事項がネックとなり、一部のユーザーはアナリティクスを追求する取り組みから完全に排除されてしまうかもしれません。

図6： FinOpsユニコーンが関係者間でクラウド財務を調整する様子

データセットが大きく複雑であるほど、Viyaの優位性は高まります。加えて言えば、いくつかの競合する代替製品ではモデルの結果の生成に数時間かかったか、完全に失敗したのに対し、SASは同じモデルの結果を数秒から数分という桁違いの速さで生成できました。

The Futurum Groupの『Performance at Scale - Comparing AI/ML Performance of SAS Viya vs. Alternatives』（2023年4月版）より

コストパフォーマンスに優れたアプローチ

クラウドで優れたコストパフォーマンスを達成すると、組織はコスト削減の推進と生産性の最大化に向けてアナリティクス戦略をどのように最適化するかについて、選択の自由を手にします。SASがご提案するのは「継続的な改善」というアプローチです。

ユーザーがクラウドの利用を管理できるようにすると、柔軟性と革新性が向上します。

過剰なクラウドコストや不必要なワークロード・リパトリエーション（＝ワークロードをクラウドから元の環境に引き揚げること）を防ぐには、「クラウド財務管理」という組織文化の強化が不可欠です。SASでは、リソースを大量に消費するコードを特定しそのコストパフォーマンスを改善するための、エコシステム診断ソリューションを提供しています。

一貫したパフォーマンス評価を通じてクラウドコストを管理するようにします。

調査研究によると、クラウドでは、類似するアプローチが非常に多様な結果を生み出す可能性があります。より優れたパフォーマンスを大規模に達成することが容易な場合は、クラウドコストを期待に沿わせることができます。また、アルゴリズム、データ、コンピューティング・チップが緊密に調和している場合は、アルゴリズムの実行が高速化し、コストに関する考慮事項は桁違いに減少します。

クラウドへの移行は、データから未開拓の価値を掘り起こす能力を高めますが、コストを未知の領域へと押し上げるリスクもあります。移行後は「データサイエンティスト、アナリスト、エンジニアの行動と彼らが実行するコードを変容させること」が新たな課題となり、これは進化するプロセスでもあります。

The Futurum Groupの調査レポートには、同社のシニアパートナー兼アナリストであるラス・フェローズ（Russ Fellows）氏の次のような見解が示されています。「SAS Viyaは平均86％低いコストで同じ結果を提供するか、同じリソース利用率で30倍の結果を提供することが可能であり、この能力は運用コストとAI/MLの結果を最適化したいと考えている企業に高度な柔軟性をもたらします。」

これはつまり、継続的かつ複利的な投資対効果（ROI）が見込める、ということです。ですから、今こそ決断のときです。SAS Viyaのパワーを活用して生産性最大化とクラウドコスト削減を図ることにフォーカスした効果的な戦略を策定するかどうか、その判断はお客様の手に委ねられています。

SAS Viyaのパフォーマンスは印象的でした。競合するAI/MLライブラリ群を単に凌いだだけでなく、競争（の枠組み自体）を打ち砕きました。

ラス・フェローズ（Russ Fellows）氏、The Futurum Groupのシニアパートナー兼アナリスト

詳細については、sas.com/viyaをご覧ください。

SAS、SASロゴ、その他のSAS Institute Inc.の製品名・サービス名は、米国およびその他の国におけるSAS Institute Inc.の登録商標または商標です。® は米国における登録商標を示します。その他記載のブランド名および製品名は、それぞれの会社の商標です。Copyright © 2023, SAS Institute Inc. All rights reserved.