Dni

$$$

XP

Analityk big data

Analizuje duże, rozproszone zbiory zdarzeń. Pisze wydajne zapytania i sprawdza, jak na wnioski wpływają granice partycji, dobór próby, zduplikowane zdarzenia oraz luki w dostępnych danych.

Na tej stronie zawodu dowiesz się:

Kim jest analityk big data

Analityk big data bada zbiory, których w praktyce nie da się w całości wczytać na jednym komputerze. Formułuje pytanie, wybiera odpowiednie partycje i przedziały czasu, pisze zapytania wykonywane w sposób rozproszony i ocenia reprezentatywność próby. W dziennikach zdarzeń uwzględnia opóźnione wpisy, duplikaty i różne znaczniki czasu.Wraz z inżynierami danych analizuje specyfikę źródeł i braki w rekordach. Porównuje obliczenia dokładne i przybliżone, kontroluje ilość skanowanych danych i dba o odtwarzalność wyników. Głównym rezultatem jest wniosek analityczny poparty kontrolą skali i jakości danych. Utrzymanie całej infrastruktury zbierania danych wykracza poza tę rolę.

Główne umiejętności analityka big data

Distributed analytical queriesEvent data analysisSampling assessmentPartition scan optimisation

Harmonogram i warunki pracy

Większość pracy odbywa się przy komputerze z dostępem do rozproszonych środowisk przechowywania i przetwarzania danych. Zapytania mogą być długotrwałe lub kosztowne, dlatego trzeba wykonywać wstępne kontrole, ograniczać ilość skanowanych danych i dokładnie zapisywać parametry każdego uruchomienia.

Czym zajmuje się analityk big data

  • Plan partition and time window analysis
  • Write and verify distributed analytical queries
  • Assess samples, duplicates and late events
  • Explain findings and approximate calculation limits

Zalety zawodu analityka big data

Szczegółowe dane o zdarzeniach

Szczegółowe dzienniki pozwalają badać sekwencje i rzadkie przypadki, które mogą zniknąć, jeśli dane zbyt wcześnie zagreguje się w prostych raportach.

Analiza i przetwarzanie danych

Rola łączy myślenie statystyczne z optymalizacją zapytań. Trzeba sprawdzać zarówno znaczenie wyniku, jak i sposób jego obliczenia.

Wady zawodu analityka big data

Koszt ponownych obliczeń

Źle dobrany filtr lub warunek złączenia może skutkować odczytaniem zbędnych danych, dlatego nawet zapytania eksploracyjne wymagają planu i wstępnych sprawdzeń o ograniczonym zakresie.

Trudności z kompletnością danych

Opóźnione zdarzenia i nierównomierne partycje mogą zniekształcać wnioski, jeśli dużą ilość danych uzna się za wystarczający dowód ich jakości.

Jak zostać analitykiem big data

W Polsce podstawy można zdobyć na studiach informatycznych, statystycznych lub związanych z analizą danych. Najpierw naucz się weryfikować wnioski na małym zbiorze, a następnie przejdź do obliczeń rozproszonych.

1. Nauka

Poznaj SQL, statystykę, dobór próby, zapytania rozproszone, partycjonowanie, zasady interpretacji czasu zdarzeń i plany wykonania zapytań.

2. Praktyka

Utwórz syntetyczny dziennik zdarzeń partycjonowany według daty. Porównaj wyniki zapytania na pełnym zbiorze i na próbie, a potem dodaj duplikaty i opóźnione rekordy.

Do tej specjalizacji można wejść przez pracę w analizie danych i stopniowo przechodzić do zapytań na rozproszonych zbiorach. W portfolio podaj wielkość błędu, ilość skanowanych danych i reguły doboru rekordów.

Oceń, jak przydatne są dla Ciebie treści na tej stronie

Podobne zawody

Twój kraj: Polska (polski)

zmień

© Wszelkie prawa zastrzeżone

Przy wykorzystywaniu materiałów ze strony obowiązkowym warunkiem jest umieszczenie hiperłącza do strony z materiałem wraz ze wskazaniem marki naszej platformy – Jobalto.

Wszystkie zawody