Forma pracy:
długoterminowo, fulltime, 100% zdalnie
⏰
Start:
ASAP
Cześć!
Dla naszego klienta poszukujemy Senior Data Engineera z doświadczeniem w pracy z Databricks, Python/ Py Spark oraz Snowdlake. Projekt dla giganta prawniczego z US – klient będzie modernizował i migrował systemy i dane z platform ze Snowflake do Databricks. Od ekstrakcji z systemów źródłowych, przez transformacje i walidację jakości, po ładowanie danych do nowych środowisk chmurowych. Szukamy osoby z zacięciem konsultingowym (dobrze czuje się w pracy bezpośrednio z klientem), która potrafi samodzielnie działać w ramach projektu klienta oraz dobrze odnajduje się w środowisku złożonych projektów i zmieniających się wymagań. Rola przewiduje pełną odpowiedzialność za ścieżkę migracji Snowflake (nie jest to rola współwykonawcza w zespole). Idealnego kandydata cechuje głęboka wiedza techniczna w obszarach: Apache Iceberg, Unity Catalog governance oraz nowoczesne funkcje Databricks (Workflows, Serverless, Lakehouse Monitoring).
Ze względu na lokalizację klienta wymagana jest dzienna zakładka z zespołem w USA (do godziny 18:00). W pierwszych tygodniach (onboarding) możliwa będzie większa dostępność w godzinach popołudniowych.
Zakres zadań:
Architektura i projektowanie
Inwentaryzacja hurtowni danych Snowflake i mapowanie zależności
Projekt architektury migracji z wykorzystaniem Apache Iceberg dla interoperacyjności międzyplatformowej
Opracowanie frameworka zarządzania danymi w Unity Catalog (role‑based access, zabezpieczenia na poziomie wiersza)
Strategia synchronizacji danych historycznych (pełnej i przyrostowej)
Realizacja migracji
Eksport danych ze Snowflake (UNLOAD) → ingest do Databricks (Auto Loader, Workflows)
Implementacja tabel Iceberg dla zgodności odczytu/zapisu między Snowflake i Databricks
Budowa architektury Medallion (Bronze/Silver/Gold) z użyciem Delta Lake / Iceberg
Wdrożenie zabezpieczeń na poziomie wiersza w Unity Catalog
Projekt wzorców CDC (Change Data Capture) dla przepływu Snowflake → Databricks
Optymalizacja i handoff
Optymalizacja kosztów (Photon, Serverless SQL, podział obciążeń według poziomów)
Tworzenie dashboardów monitorujących (jakość danych, kondycja pipeline’ów, koszty)
Implementacja frameworka testowania jakości danych Data Pact
Wsparcie przy przełączeniu środowiska produkcyjnego i przygotowanie dokumentacji
Wymagania:
⚡️ ~ 5 lat praktycznego doświadczenia w pracy jako inżynier platformy Databricks
⚡️ Doświadczenie w przeprowadzaniu migracji Snowflake → Databricks
⚡️ Praktyczna znajomość Apache Iceberg i integracji między różnymi platformami danych
⚡️ Wiedza w zakresie zarządzania dostępem i bezpieczeństwa w Unity Catalog (row‑level security, access control)
⚡️ Doświadczenie z platformą AWS
⚡️ Dobra znajomość Python / Py Spark i Data Frames / Delta Tables
⚡️ Umiejętność samodzielnego prowadzenia projektów w napiętych terminach
⚡️ Obycie biznesowe: umiejętność pracy z klientem, zarządzania interesariuszami, formułowania celów biznesowych
⚡️ Angielski na poziomie umożliwiającym swobodną komunikację w zespole (B2/C1)
Mile widziane:
⚡️ Certyfikacja Databricks Professional
⚡️ Wiedza z zakresu Fin Ops (optymalizacja kosztów, monitorowanie DBU)/ doświadczenie w branży finansowej
⚡️ Znajomość Infrastructure-as-Code (Terraform, DABs)
Jak działamy i co oferujemy?
Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia
Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi
Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum
Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów
#J-18808-Ljbffr
