ETL (Extract, Transform, Load) to proces, w którym dane są pobierane z systemów źródłowych, porządkowane i przekształcane, a następnie ładowane do miejsca docelowego – najczęściej hurtowni danych, z której korzystają raporty. To warstwa, dzięki której dane z ERP, WMS, sklepu internetowego i arkuszy można zestawić w jednym modelu danych.
Jak to działa
- Extract (pobranie) – odczyt danych z baz, plików, API lub eksportów. Pobiera się całość albo tylko rekordy zmienione od ostatniego uruchomienia (ładowanie przyrostowe).
- Transform (przekształcenie) – ujednolicenie formatów dat i jednostek, mapowanie kodów (np. ten sam klient pod różnymi numerami w dwóch systemach), usuwanie duplikatów, wyliczanie pól pomocniczych.
- Load (załadowanie) – zapis do tabel docelowych, zwykle według harmonogramu, np. co noc lub co godzinę.
Coraz częściej stosuje się wariant ELT: surowe dane trafiają najpierw do hurtowni w chmurze, a przekształcenia wykonuje się już w niej, np. w SQL. Zasada pozostaje ta sama – logika czyszczenia ma być zapisana, powtarzalna i wersjonowana, a nie wykonywana ręcznie w arkuszu. Te same techniki wykorzystuje się jednorazowo przy migracji danych do nowego systemu.
Przykład
Operator logistyczny obsługujący 14 klientów otrzymywał od każdego z nich awizacje dostaw w pliku o innym układzie. Pracownik biura przez około dwie godziny dziennie przeklejał dane do wspólnej tabeli, a co kilka dni pomyłka w kodzie produktu powodowała rozbieżność przy przyjęciu. Proces ETL napisany w Pythonie pobierał pliki ze skrzynki pocztowej, mapował kolumny według konfiguracji przygotowanej dla każdego klienta, sprawdzał kody produktów z kartoteką i co 30 minut ładował wynik do bazy. Rekordy z błędami trafiały na osobną listę z opisem problemu. Ręczna praca spadła do około 15 minut dziennie, poświęcanych głównie na wyjaśnianie odrzuconych wierszy.
Najczęstsze błędy
- Ciche pomijanie błędnych rekordów zamiast ich rejestrowania i raportowania – zestawienie wygląda poprawnie, ale brakuje w nim części danych.
- Brak monitoringu – nikt nie wie, że nocne ładowanie nie wykonało się od trzech dni.
- Zapisanie reguł biznesowych (np. co uznaje się za zwrot) wyłącznie w kodzie, bez dokumentacji zrozumiałej dla właściciela procesu.
Od czego zacząć
- Zrób inwentaryzację źródeł: jakie systemy, jaki sposób dostępu, jak często zmieniają się dane.
- Zacznij od jednego przepływu o dużej wartości, który dziś jest przetwarzany ręcznie.
- Od pierwszego dnia dodaj walidację, dziennik błędów i powiadomienie o nieudanym ładowaniu.