Analityk big data
Analizuje duże, rozproszone zbiory zdarzeń. Pisze wydajne zapytania i sprawdza, jak na wnioski wpływają granice partycji, dobór próby, zduplikowane zdarzenia oraz luki w dostępnych danych.
Na tej stronie zawodu dowiesz się:
Kim jest analityk big data
Analityk big data bada zbiory, których w praktyce nie da się w całości wczytać na jednym komputerze. Formułuje pytanie, wybiera odpowiednie partycje i przedziały czasu, pisze zapytania wykonywane w sposób rozproszony i ocenia reprezentatywność próby. W dziennikach zdarzeń uwzględnia opóźnione wpisy, duplikaty i różne znaczniki czasu.Wraz z inżynierami danych analizuje specyfikę źródeł i braki w rekordach. Porównuje obliczenia dokładne i przybliżone, kontroluje ilość skanowanych danych i dba o odtwarzalność wyników. Głównym rezultatem jest wniosek analityczny poparty kontrolą skali i jakości danych. Utrzymanie całej infrastruktury zbierania danych wykracza poza tę rolę.
Główne umiejętności analityka big data
Harmonogram i warunki pracy
Większość pracy odbywa się przy komputerze z dostępem do rozproszonych środowisk przechowywania i przetwarzania danych. Zapytania mogą być długotrwałe lub kosztowne, dlatego trzeba wykonywać wstępne kontrole, ograniczać ilość skanowanych danych i dokładnie zapisywać parametry każdego uruchomienia.
Czym zajmuje się analityk big data
- Plan partition and time window analysis
- Write and verify distributed analytical queries
- Assess samples, duplicates and late events
- Explain findings and approximate calculation limits
Zalety zawodu analityka big data
Szczegółowe dane o zdarzeniach
Szczegółowe dzienniki pozwalają badać sekwencje i rzadkie przypadki, które mogą zniknąć, jeśli dane zbyt wcześnie zagreguje się w prostych raportach.
Analiza i przetwarzanie danych
Rola łączy myślenie statystyczne z optymalizacją zapytań. Trzeba sprawdzać zarówno znaczenie wyniku, jak i sposób jego obliczenia.
Wady zawodu analityka big data
Koszt ponownych obliczeń
Źle dobrany filtr lub warunek złączenia może skutkować odczytaniem zbędnych danych, dlatego nawet zapytania eksploracyjne wymagają planu i wstępnych sprawdzeń o ograniczonym zakresie.
Trudności z kompletnością danych
Opóźnione zdarzenia i nierównomierne partycje mogą zniekształcać wnioski, jeśli dużą ilość danych uzna się za wystarczający dowód ich jakości.
Jak zostać analitykiem big data
W Polsce podstawy można zdobyć na studiach informatycznych, statystycznych lub związanych z analizą danych. Najpierw naucz się weryfikować wnioski na małym zbiorze, a następnie przejdź do obliczeń rozproszonych.
1. Nauka
Poznaj SQL, statystykę, dobór próby, zapytania rozproszone, partycjonowanie, zasady interpretacji czasu zdarzeń i plany wykonania zapytań.
2. Praktyka
Utwórz syntetyczny dziennik zdarzeń partycjonowany według daty. Porównaj wyniki zapytania na pełnym zbiorze i na próbie, a potem dodaj duplikaty i opóźnione rekordy.
Do tej specjalizacji można wejść przez pracę w analizie danych i stopniowo przechodzić do zapytań na rozproszonych zbiorach. W portfolio podaj wielkość błędu, ilość skanowanych danych i reguły doboru rekordów.