Proces ETL (Extract-Transform-Load) jest jednym z najważniejszych elementów wdrożeń Business Intelligence. Dzięki niemu możemy integrować dane ze wszystkich naszych systemów, aplikacji i gromadzić je w jednym miejscu i jest główną metodą zasialania hurtowni danych. Ogólnie rzecz biorąc proces ten polega na wyodrębienieu danych, oczyszczeniu ich i na końcu załadowanie do modelu. W modelu (np. w hurtowni danych) dostajemy dane już oczyszczone i przygotowane do wisualizacji.
Extract – pozyskiwanie
wyodrębnienie danych ze źródeł danych (na przykład Excel, baza danych, pliki XML, CSV). Wyodrębnianie odbywa się m. in. poprzez:
– podłączenie się do bazy danych źródłowych (metoda pull),
– wystawianie danych przez system źródłowy, np. w postaci plików płaskich i tabel bazodanowych (metoda push),
– API – Application Programming Interface, dzięki któremu możliwe jest pobranie danych z konkretnego miejsca
Transform – transformacja
Polega na przekształceniu danych do takiej postaci, aby można je było poprawnie analizować. Proces ten może zasilać modele semantyczne w dane wykorzystując na przykład proces łączenia tabel (join), usuwania błędnych danych, dzielenia na kolumny i wreszcie doprowadzenia do modelu z relacjami (np. model gwiazdy). Narzędzia, które możemy użyć to Power Query (więcej w następnej lekcji), język DAX itp.
Load – załadowanie
To ostatni krok, dzięki któremu dane zostaną załadowne do postaci docelowej, na przykład do modelu semantycznego lub hurtowni danych.
Zasilenie modelu może być wspomagane (a nawet powinno) zasobami Microsoft Fabric.
W kroku pierwszym aplikacja Power BI Desktop jest zasilona danymi w czym pomaga opisany powyżej proces ETL. W tym miejscu powstaje semantyczny model danych (Data model) z danych uporządkowanych i oczyszczony przy pomocy Power Query (o tym w następnej lekcji). Z danych tych powstaje Raport, zawierający konkretne wizualizacje , a następnie Raport jest publikowany w usłudze Power BI Services. Modele w usłudze zasilane mogą być danymi z REST API z innych usług (MS Fabric).