只有一半 AI 模型具有商業價值？讓 ModelOps 帶你踏上最後一哩路！

DevOps 是軟體工程中一個常見的文化精神，並重軟體開發（Dev）和系統維運（Ops）團隊之間的溝通，使得兩方在軟體系統上線的協作能更加快速、頻繁和可靠。可想而知，ModelOps 是導入 DevOps 精神在以 AI 模型為核心的系統開發和維運流程中，因此流程涉及常見的 AI 模型 （機器學習、時間序列模型、統計模型等）、資料品質等相關議題。

除了軟體工程本身，ModelOps 也追求提升模型從第一步到最後一步的開發效率，使得模型上線更加快速、頻繁，並同時確保模型的預測表現。然而，為什麼企業需要 ModelOps 呢？

連續 8 年被 Gartner 評為資料科學與機器學習平台領導者的 SAS 台灣業務顧問部副總經理陳新銓表示，從情境確認、資料分析到每一次模型部署上線，企業內部就需花費大量的時間溝通，而等到模型上線後，又可能因情境需求改變，甚至是資料日增而讓模型變得不敷使用。因此結合 DevOps 精神將有效地解決這些問題，讓 AI 模型能夠真正落地應用，產生商業價值。

AI 模型從開發到部署存在極大差距

陳新銓進一步說明，據調查，企業所開發的 AI 模型只有 50% 會進入部署階段，而這些被部署的模型中，高達 90% 花了 3 個月時間才順利上線。 IDC 另一份調查也指出，企業 1 年花費在分析上的預算多達 1,891 億美元，卻只有 35% 企業能夠將模型部署到營運流程裡。

從這兩份調查可知 AI 模型從開發到落地部署其實有著很長的一段路，因此透過 ModelOps 對 AI 模型進行生命週期管理，以縮減開發和維運流程，顯然有其必要性。

研究機構 Gartner 也在公佈 2021 年九大策略科技趨勢（Strategic technology）時指出，AI 模型在 AI 工程中應成為 DevOps 的一部份，而不是一個獨立專門的項目，更顯 ModelOps 的未來發展潛力。

ModelOps 有別於大家常提到 MLOps，MLOps 強調單一或少數的機器學習模型的生命周期流程，最終以最佳的機器學習模型進入營運層面產生商業價值，著重機器學習模型本身；ModelOps 不僅包含 MLOps 的精神，也涵蓋到為企業組織統一治理更多數量、更多元化分析模型的生命周期流程，並延伸到業務規則、業務決策最佳化、代理人系統等，以及更多 IT 架構層面的議題，著重各類型模型和系統的最終決策。從 IT 架構的多樣性到分析模型的多元性，ModelOps 的涵蓋範圍會比 MLOps 來得廣，也因此我們可以將 MLOps 視為 ModelOps 的子集合。

實踐 ModelOps 過程，必須掌握的三大重要機制

「我們從協助企業實踐 ModelOps 的過程中，發現三個很重要的機制：(1) 模型儲存管理、(2) 模型流程管理、(3) 系統開放的介接 API」，陳新銓提醒，管理者須從營運而非僅技術角度，為實現 AI 價值的打下基礎。

機制 1：模型儲存管理 – 中央式管理各種類型、各程式語言的模型

隨著程式語言、資料型態的多樣性增加，分析模型可以存在成各種檔案類型。此外，不同分析模型對於輸入資料的格式、環境設定的依賴也不盡相同。目前企業內部的許多模型程式碼、資料和模型相關文件通常散落在各個不同系統平台中，倘若再遇到人事頻繁流動，模型常常無法有效留存或交接，而損失當時開發模型的潛在價值。

系統性地模型儲存管理協助企業組織集中、統一治理所有類型模型檔案、屬性、版本、相關文件等，並達到兩個可預期的效益：(1) 有效率地支援 ModelOps 的模型作業流程運作、(2) 不斷地累積企業組織的分析模型資產和能量。

因此陳新銓建議，企業應建立一個中央式的模型儲存庫，清楚記錄與儲存每個模型的版本歷程、預測表現、屬性、使用的資料變數、衍生的模型檔案等，如此一來，即使公司內部人員流動或是模型數量繁多，也能系統性地累積分析能量。

機制 2：模型流程管理 – 設計出可稽核的自動化、標準化模型作業流程

AI 模型從開發到部署，需要 IT、業務及分析等眾多部門共同協力完成，陳新銓認為，藉由自動化與標準化的流程，讓完整的模型作業流程可以跨部門協作，簡化人工作業程序，AI 模型便能順暢地由開發走到部署階段，有效克服管理的挑戰。

以 SAS 的模型流程管理為例，其同時符合 BPMN 2.0（業務流程模型和標記法，Business Process Model and Notation）規範與 ISO 19510 標準，企業可以用圖形化方式去設計符合自身需求的模型開發與維運流程，讓跨部門，甚至是資料科學技能相對初階的業務需求單位都能加入協作，及解讀管理所需的資訊。此外，還能提供每一次作業流程的紀錄，做為內部稽核及未來營運改善的依據，這對台灣金融業來說尤為重要。

機制 3：開放的 API 介面 – 整合既有軟體系統，打造更全面的 ModelOps

透過前述兩個重要機制，可以提升AI 模型的儲存和流程面的運作。SAS 在與不同產業的企業合作和討論時，發現許多企業組織內部已經陸續使用不同功能類型的軟體，來支援分析模型開發、部署和執行服務等。因此，要讓模型統一集中並自動化作業流程，還能友善地與既有系統整合，發揮綜效和 ModelOps 的精神，其介接的API介面是不可或缺的關鍵。 因此陳新銓建議透過開放 API 介面，整合更多元的系統、達到持續整合與持續交付 （CI/CD）的終極效果，讓資料科學家只要點擊操作，就可將 AI 模型落地至營運環境。如提供 RESTful API，讓企業可以介接 SAS、Java、Python 或是 CLI 介面的應用程式，還有Gitlab、GitHub、Jenkins 等開源工具，即能快速打造 CI/CD 流程。

日本瑞穗銀行靠 ModelOps，大幅縮短貸款審核作業

日本瑞穗銀行個人貸款部門便以 ModelOps 精神建立資料平台，在原本的作業流程中，增加一個可以集中控管所有模型的儲存庫，並標準化 ML 模型從部署到應用的作業流程，進而提升貸款業務的作業效率和處理量能。

在引進 ModelOps 後最明顯的改變是，以前相關同仁需要數週時間才能完成貸款審核作業，現在最快 30 分鐘就能完成，在處理量能上，以前每個月所能處理房貸件數最多為 80 個，現在藉助 AI 模型應用，讓瑞穗銀行可以蒐集外部數據，例如貸款者的財務資訊…等，作為評估基礎，每月可處理案件數成長百倍、達上千個。

ModelOps 非一體適用，平台要具開發彈性

雖然 ModelOps 是必然趨勢，不過，陳新銓再次強調，ModelOps 是一種精神文化，而非標準作業流程，每個企業組織的模型使用情境、範圍、系統架構、文化和規章都不盡相同。因此，要實踐能因地制宜的 ModelOps，企業需要足夠彈性的開發平台，以符合上述所提條件，包含：能否廣納各類型的模型資產並有中央管理機制？可不可以做到自動化流程管理？有無提供介接其他系統的 API？有沒有足夠人性化、簡潔易懂的操作介面？

換句話說，AI 模型若不能很好地整合管理效率與業務規則，就無法用最有效的方式協助企業做到「決策最佳化」的終極目標。

 

_{參考資料：}

1. _{What is ModelOps and MLOps?}
2. _{Gartner Report – Innovation Insight for ModelOps}