Główny Urząd Statystyczny

Analityczne wsparcie spisów powszechnych.

Informacja o kliencie

Główny Urząd Statystyczny (GUS) to centralny organ polskiej administracji państwowej odpowiedzialny za zbieranie danych statystycznych, przechowywanie i opracowywanie zebranych danych oraz ogłaszanie, udostępnianie i rozpowszechnianie wyników badań jako oficjalnych danych statystycznych. GUS zapewnia rzetelne, obiektywne i systematyczne informowanie społeczeństwa, organów państwa i administracji publicznej oraz podmiotów gospodarki narodowej m.in. o sytuacji ekonomicznej, demograficznej, społecznej oraz środowiska naturalnego. Realizuje zobowiązania międzynarodowe Polski w zakresie spisów powszechnych oraz innych badań statystycznych.

Potrzeba biznesowa

W związku z zaplanowanym na rok 2010 Powszechnym Spisem Rolnym oraz na rok 2011 Narodowym Spisem Powszechnym Ludności i Mieszkań Główny Urząd Statystyczny podjął decyzję o całkowitej zmianie metody realizacji spisu oraz technik pozyskiwania danych. Przez wiele lat podstawową metodą przeprowadzania spisów w Polsce był bezpośredni wywiad rachmistrza z osobą spisywaną. Proces wypełniania ankiet był skomplikowany, zaś samo wprowadzenie danych do systemów trwało wiele miesięcy. Wyniki spisu były dostępne dużo później, nawet po kilku latach. Metoda ta była bardzo kosztowna i stwarzała ogromne trudności organizacyjne. Biorąc pod uwagę rozwój nowoczesnych technologii i nowych metod badawczych oraz możliwość wykorzystania danych z rejestrów publicznych, a także uwzględniając wysoki koszt spisu tradycyjnego, szukano rozwiązania, które pozwoliłoby na skrócenie procesu opracowania wyników spisu oraz obniżenie kosztów.

Główny Urząd Statystyczny przeprowadził analizę dostępnych informacji w rejestrach publicznych, której wynikiem była rekomendacja wykorzystania danych z rejestrów. Większość informacji niezbędnych do prawidłowego przeprowadzenia spisu jest gromadzona przez poszczególne resorty od wielu lat. Ponadto GUS posiadał przygotowaną kadrę IT oraz znał pozytywne doświadczenia innych krajów w realizacji spisów powszechnych z użyciem rejestrów publicznych. Ostatecznie zdecydowano, że Spis będzie realizowany metodą mieszaną tj. z wykorzystaniem danych z systemów informacyjnych administracji publicznej i pozaadministracyjnych oraz danych zebranych w bezpośrednim badaniu. Przyjęto założenie, że w trakcie spisu będą wykorzystywane wyłącznie formularze elektroniczne.

Główny Urząd Statystyczny - przygotowując dane do spisu rolnego i powszechnego - nauczył się pokonywać trudności, czyścić i integrować dane tak, aby rejestry publiczne były dla niego przydatne. Rejestry, które otrzymuje GUS mają początkowo dane poprawne jedynie w 30-50%. Po odpowiednim przygotowaniu, ich jakość wzrasta do 96-97%. Jest więc realna nadzieja, że za dziewięć lat, GUS będzie zbierał dane nie przez Internet, czy przy pomocy rachmistrzów, ale korzystając z rejestrów centralnych

Janusz Dygaszewicz
Dyrektor Centralnego Biura Spisowego
oraz Dyrektor Departamentu Programowania
i Koordynacji Badań w GUS

Jakie cele biznesowe miało zrealizować nowe rozwiązanie?

Najważniejszym celem biznesowym było przeprowadzenie spisów powszechnych w zadanym czasie i w zakresie wymaganym przez przepisy prawa oraz obniżenie kosztów związanych z realizacją spisu. Dodatkowo założono utworzenie infrastruktury teleinformatycznej wspomagającej procesy spisowe, która w późniejszym okresie będzie wykorzystywana do prowadzenia innych badań statystycznych. W celu przeprowadzenia spisów zgodnie z przyjętymi założeniami konieczne było wdrożenie wielu specjalistycznych narzędzi i zaawansowanego oprogramowania komputerowego. Kluczową rolę odgrywały tu dwa rozwiązania do integracji, przetwarzania i analizy danych spisowych: Operacyjna Baza Mikrodanych (OBM) oraz Analityczna Baza Mikrodanych (ABM). Przeprowadzono dwa przetargi, jeden na wykonanie Operacyjnej Bazy Mikrodanych, drugi na opracowanie Analitycznej Bazy Mikrodanych. W obu postępowaniach firma SAS Institute utworzyła konsorcjum z firmą Hewlett Packard oraz z krajowymi integratorami.

Opis rozwiązania

W ramach rozwiązania zostały utworzone dwa środowiska:

• Operacyjna Baza Mikrodanych – platforma umożliwiająca przetwarzanie danych z rejestrów oraz danych pozyskanych w trakcie wywiadów bezpośrednich, jak również w wyniku samospisu. W tym środowisku pracuje się na danych detalicznych posiadających wszystkie atrybuty, w tym dane osobowe i identyfikatory osób spisywanych. W OBM pracuje kilkunastu użytkowników wykorzystujących takie narzędzia jak: SAS® Enterprise Data Integration Server oraz SAS® STAT i SAS® Enterprise Guide. Po opracowaniu danych spisowych wyprowadzany jest tzw. Golden Record – tj. najlepszy z możliwych do uzyskania zestaw danych spisowych.
• Analityczna Baza Mikrodanych – platforma umożliwiająca tworzenie produktów spisowych,
  tj. raportów i analiz. W tym środowisku pracuje się na odpersonalizowanych danych detalicznych (usunięto dane personalne i identyfikatory umożliwiające identyfikację osoby spisywanej) uzyskanych z Golden Record-u. W ABM może pracować docelowo ponad 10 000 użytkowników wykorzystujących takie narzędzia jak: SAS® Enterprise Business Intelligence Server oraz SAS® STAT, SAS® ETS i SAS® Enterprise Guide, SAS® Enterprise Miner oraz dedykowane aplikacje wytworzone w ramach projektu.
  

OBM umożliwia realizację spisów metodą mieszaną z wykorzystaniem danych z systemów administracyjnych i pozaadministracyjnych oraz danych spisowych zebranych w badaniach ankietowych. W OBM wykonano także losowania jednostek spisowych (z wykorzystaniem metod statystycznych modułu SAS STAT), które zostały objęte pełnym badaniem reprezentacyjnym. OBM zapewnia sprawny import, weryfikację, korektę oraz integrację tych danych z danymi uzyskiwanymi od respondentów. Wypełnione ankiety są na bieżąco importowane do OBM, która stanowi centralne miejsce ich przechowywania i synchronizacji. Następnie pozyskane i odpowiednio przetworzone dane spisowe są zapisywane do tabeli Golden Record, która stanowi najlepszy do uzyskania zestaw wynikowych danych spisowych. Kolejnym krokiem jest odpersonalizowanie (usunięcie danych osobowych i identyfikatorów) danych w tabeli Golden Record i przekazywanie wyników spisu do Analitycznej Bazy Mikrodanych. W ABM tworzone są tzw. produkty spisowe – raporty i analizy, zarówno wykorzystujące dane detalicznej jak i mikroagregtaty oraz agregaty. W środowisku ABM są prowadzone również analizy statystyczne m.in. wykorzystujące techniki data miningowe. Po zakończeniu spisów systemy OBM i ABM stanowią elementy systemu informacyjnego statystyki publicznej.

Co zdecydowało o wyborze rozwiązania SAS?

Główny Urząd Statystyczny zdecydował się na technologię SAS Institute, ze względu na jej kompleksową funkcjonalność w zakresie pozyskiwania, integracji, czyszczenia i przetwarzania danych oraz przygotowywania zaawansowanych analiz i prezentacji raportów. Równie ważna była wydajność rozwiązania, umożliwiająca sprawne przetwarzanie danych spisowych, szybki dostęp do wyników oraz zachowanie bezpieczeństwa i kontroli dostępu do zgromadzonych informacji. Jednak kryteria, które decydowały o wyborze rozwiązania były mierzalne, tj. każdy z oferentów (np. Oracle, IBM) miał do rozwiązania 40 zadań przygotowanych przez GUS, za które otrzymywał punkty. I to właśnie zdecydowało, że oferta SAS zwyciężyła. Zaoferowana funkcjonalność i wydajność pozwoliły zdobyć najwięcej punków wśród startujących firm. Wdrożenie Operacyjnej Bazy Mikrodanych zajęło 5 miesięcy, natomiast podstawowe wdrożenie Analitycznej Bazy Mikrodanych w zakresie PSR 2010 wykonano w 6 miesięcy. Ponadto po tym okresie realizowane było wsparcie, szkolenia użytkowników, a także tworzenie dedykowanych aplikacji. Docelowo z systemu korzystać może ponad 10 000 użytkowników, ponadto wyniki spisu są dostępne z wykorzystaniem tzw. CensusHub oraz standardu SDMX.

Uzyskane korzyści

Wyniki przeprowadzonych spisów potwierdziły, że wdrożone rozwiązania miały przełomowe znaczenie dla usprawnienia procesu pozyskiwania i integracji danych spisowych oraz szybkości generowania raportów i analiz. Dzięki zastosowaniu zaawansowanych technologii po raz pierwszy w historii spisów powszechnych w Polsce możliwe było samodzielne przekazanie i potwierdzenie danych za pośrednictwem Internetu. Ogromne znaczenie dla kompletności danych i szybkości ich przetwarzania ma również zautomatyzowany sposób ich pozyskiwania z rejestrów publicznych. Pozyskane i przetworzone dane posłużyły do zasilenia formularzy spisowych, w tym internetowych. Po wypełnieniu i zatwierdzeniu formularza dane trafiają do OBM, gdzie później podlegają integracji z danymi już posiadanymi i służą do wyprowadzenia tzw. Golden Recordu. Ponadto w OBM można generować na bieżąco raporty o postępach spisu, tj. ile spisano osób i mieszkań w każdym z kanałów. Wdrożone narzędzia nie tylko usprawniły pracę wszystkich osób, które uczestniczą w spisach, ale pozwoliły obniżyć koszty całego przedsięwzięcia do niezbędnego minimum. Liczba rachmistrzów zaangażowanych do obsługi spisu została zmniejszona z około 170 tys. w 2002 roku do 18 tys. w roku 2011. Eliminacja formularzy papierowych pozwoliła na zaoszczędzenie około 1 000 ton papieru. W rezultacie uzyskano obniżenie kosztów całkowitych o ponad 40%. Ponadto Główny Urząd Statystyczny zbudował uniwersalną platformę analityczno-informacyjną, która jest niezwykle nowoczesnym środowiskiem analitycznym, zarówno od strony funkcjonalnej, jak i wydajnościowej. Utworzenie dedykowanego środowiska analitycznego daje GUS szerokie możliwości w zakresie prowadzenia badań statystycznych z wykorzystaniem danych gromadzonych w rejestrach publicznych oraz danych pozyskiwanych z innych źródeł. Dzięki temu Główny Urząd Statystyczny będzie mógł sprostać rosnącym oczekiwaniom odbiorców na szybsze przetwarzanie i analizowanie danych oraz dostarczanie zrozumiałej informacji statystycznej.