W pełni skalowany „daily batch processing” oraz piaskownica dla każdego

Adrian Stachelek, Principal Solutions Architect, SAS Polska

 

Ideałem komfortu pracy każdej jednostki raportującej jest pełna elastyczność zarządzania procesami przetwarzania danych. Jednak zaawansowane kalkulatory symulacyjne, przetwarzające bieżące dane dzienne dla milionów klientów organizacji, wymagają mocnego silnika obliczeniowego oraz ciągłego rozwoju algorytmów i parametryzacji etapów pośrednich. Dobrym przykładem może być szacowanie ryzyka płynności w bankowości na portfelu detalicznym oraz korporacyjnym na poziomie klientów i pojedynczych ekspozycji. Zazwyczaj w takiej sytuacji następuje zaprzężenie przetwarzania wsadowego na silnych serwerach dystrybuujących dane wynikowe dla sprofilowanych odbiorów końcowych.

Przedstawiona architektura implikuje wyzwanie polegające na umożliwieniu dostępu do przetwarzania i dowolnej parametryzacji kalkulatorów dla każdego członka zespołu analitycznego bez wpływu na obciążenie nadrzędnych procesów produkcyjnych. Z pomocą przychodzi mechanizm przestrzeni roboczych (Playpen) na architekturze zestawu serwerów, pracujących w konfiguracji SAS Grid Manager.

Przestrzenie robocze (Playpen) to zestaw kompletnej konfiguracji metadanych systemu produkcyjnego z dostępem do warstwy danych podstawowych (detalicznych), algorytmami kalkulatorów symulacyjnych i słownikami konfiguracyjnymi. Każdy z użytkowników ma prawo tworzyć dowolną liczbę przestrzeni roboczych i jednocześnie pracować na nich. Dostęp do wyników może pozostać prywatny wyłącznie dla właściciela przestrzeni roboczej bądź też może być udostępniany dla pozostałych członków zespołu. Uruchomienie przetwarzania na przestrzeni roboczej jest z punktu widzenia kompletności danych tożsame z przetwarzaniem procesów produkcyjnych systemu. Sposób kalkulacji po stronie serwerów, gdzie przetwarzane są dane i zapisywane wyniki, różni się w stosunku do przetwarzania produkcyjnego wyłącznie użytkownikiem, w którego imieniu został uruchomiony.

Skalowalność środowiska systemu i zarządzanie obciążeniem zapewnia konfiguracja SAS Grid Manager, która dystrybuuje poszczególne składowe przetwarzań pomiędzy dostępne serwery. Jeżeli środowisko systemu będzie zbyt obciążone, SAS Grid Manager może w sposób automatyczny wykorzystać mechanizm wstrzymywania wybranych procesów na rzecz bardziej uprzywilejowanych aż do czasu zmniejszenia obciążenia. Ta wygodna funkcjonalność sprawdza się zarówno w środowisku wieloserwerowym, jak i na pojedynczym serwerze.

Dodatkowym wsparciem dla zaawansowanych przetwarzań może być przeniesienie najbardziej obciążających procesów do pamięci operacyjnej serwera lub klastra serwerów. Właśnie w tym celu został zaprojektowany moduł zarządzania ryzykiem „z dopalaczem” SAS High Performance Risk, który również jest dostępny dla każdego użytkownika z poziomu przestrzeni roboczej (Playpen).

Informacja o autorze:


Adrian Stachelek

Pracuje na stanowisku Principal Solutions Architect w Dziale Financial Services firmy SAS Institute. Odpowiada za architekturę rozwiązań dedykowanych dla zarządzania ryzykiem w bankowości, ze szczególnym naciskiem na identyfikację i zarządzanie nadużyciami finansowymi, zarządzanie aktywami i pasywami (ALM), identyfikację i zarządzanie ryzykiem kredytowym oraz rynkowym, zarządzanie płynnością w aspekcie zarządczym i regulacyjnym oraz wypracowanie koncepcji zarządzania ryzykiem na poziomie przedsiębiorstwa (firm-wide risk), testów warunków skrajnych oraz zgodności w zakresie kompleksowego zarządzania ryzykiem.