Data Engineer

1 tydzień temu

Warszawa mazowieckie, mazowieckie, Polska Connectis Pełny etat
Data Engineer (Azure)Miejsce pracy: WarszawaTechnologie, których używamyWymagane
  • Azure SQL
  • Python
  • Azure DevOps
O projekcie

Wspólnie z naszym partnerem z branży ubezpieczeniowej poszukujemy osoby na stanowisko Data Engineer (Azure).

Nasz klient realizuje strategiczny, wieloletni program wdrożenia DataHubów – rozwiązania wspierającego różne obszary biznesowe poprzez integrację różnych danych w organizacji. Projekt oparty jest o architekturę medalinową (bronze/silver/gold) oraz model Data Vault 2.0, a jego celem jest stworzenie skalowalnej mini hurtowni danych wdrażanej kolejno w spółkach zagranicznych naszego Partnera Biznesowego.

Twój zakres obowiązków
  • Modelowanie danych z uwzględnieniem wzorców logicznych i architektury Data Vault 2.0.
  • Projektowanie i wdrażanie skalowalnych Data Hubów w środowisku Azure i Databricks.
  • Wdrażanie funkcji walidacji danych, wykrywania anomalii i monitoringu jakości danych.
  • Optymalizacja przetwarzania oraz przechowywania danych dla dużych wolumenów.
  • Ścisła współpraca z architektami danych, zespołami AI i przedstawicielami biznesu.
  • Tworzenie dokumentacji modeli danych, potoków oraz decyzji projektowych.
  • Tworzenie rozwiązań umożliwiających analitykę w czasie rzeczywistym.
  • Budowanie oraz optymalizacja potoków ETL/ELT w Spark/PySpark.
  • Automatyzacja procesów z użyciem CI/CD (Azure DevOps).
  • Udział w spotkaniach i ceremoniach Agile (Scrum).
Nasze wymagania
  • Minimum 4 lata doświadczenia na stanowisku Data Engineer.
  • Zdolność do tworzenia wydajnych rozwiązań dla dużych zbiorów danych.
  • Bardzo dobra znajomość Pythona, Spark, PySpark oraz SQL.
  • Znajomość Azure, Azure Databricks, Azure DevOps.
  • Dobra znajomość języka angielskiego.
Mile widziane
  • Znajomość modelu Data Vault 2.0.
  • Doświadczenie z DBT (Data Build Tools).
  • Znajomość Terraform, Docker, Kubernetes.
  • Doświadczenie z rozwiązaniami CI/CD.
Tak organizujemy naszą pracęTak pracujemy
  • u klienta
To oferujemy
  • Tryb pracy zdalnej z okazjonalnymi spotkaniami zespołu w biurze w centrum Warszawy (raz w miesiącu).
  • Udział w strategicznym projekcie realizowanym dla międzynarodowego Partnera Biznesowego.
  • Realny wpływ na architekturę i rozwój rozwiązania wdrażanego w wielu krajach.
  • Dedykowane wsparcie opiekuna Connectis przez cały czas trwania współpracy.
  • Współpracę z doświadczonym zespołem inżynierów danych i DevOpsów.
  • Możliwość przedłużenia współpracy w kolejnych fazach programu.
  • 5000 PLN za polecenie znajomego do naszych projektów.
  • Szybki, zdalny proces rekrutacyjny.

Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.

Connectis_

Connectis_ to ponad 20 lat doświadczenia w branży, 60.000 Specjalistów IT i tysiące projektów zrealizowanych w 14 krajach.

  • Software Engineer I

    4 tygodni temu

    Warszawa, mazowieckie, mazowieckie, Polska STARBURST DATA POLSKA sp. z o.o. Pełny etat

    Software Engineer IMiejsce pracy: WarszawaTechnologies we useExpectedJavaTypescriptPulumiTerraformOptionalTrinoOperating systemmacOSAbout the projectAs an infrastructure engineer on the fully distributed Starburst Galaxy Reliability, Scalability, & Efficiency team, you’ll own the reliability, scalability and efficiency (performance/$) of Starburst Galaxy...

  • SAP Data Engineer

    2 dni temu

    Warszawa, mazowieckie, mazowieckie, Polska VOLKSWAGEN FINANCIAL SERVICES POLSKA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ Pełny etat

    SAP Data EngineerMiejsce pracy: WarszawaTechnologies we useExpectedSAP BW 4/HANAOracleSQLETLOptionalInformatica PowerCenterInformatica CloudOperating systemWindowsAbout the projectJoin our newly created European Data & Analytics HUB! - we are growing!This strategic initiative is created to enable the change of Volkswagen Financial Services (VWFS) to a...

  • Staff Software Engineer

    4 tygodni temu

    Warszawa, mazowieckie, mazowieckie, Polska STARBURST DATA POLSKA sp. z o.o. Pełny etat

    Staff Software Engineer - SparkMiejsce pracy: WarszawaTechnologies we useExpectedJavaKubernetesFabric8Apache SparkSparkOptionalTrinoOperating systemmacOSAbout the projectStarburst is looking for a Staff Software Engineer to work with our globally distributed engineering team on the core of Starburst’s platform. This role will allow you to contribute...

  • Software Engineer

    4 tygodni temu

    Warszawa, mazowieckie, mazowieckie, Polska STARBURST DATA POLSKA sp. z o.o. Pełny etat

    Software Engineer - Trino EngineMiejsce pracy: WarszawaTechnologies we useExpectedJavaOptionalTrinoOperating systemWindowsAbout the projectStarburst is looking for strong Java engineers to work with our globally distributed engineering team on the core of Starburst’s software. This is a great opportunity to deepen your expertise in a rapidly evolving...

  • Senior Software Engineer

    4 tygodni temu

    Warszawa, mazowieckie, mazowieckie, Polska STARBURST DATA POLSKA sp. z o.o. Pełny etat

    Senior Software Engineer - ConnectorsMiejsce pracy: WarszawaTechnologies we useExpectedJavaOptionalTrinoOperating systemmacOSAbout the projectStarburst is looking for strong Java engineers to work with our globally distributed engineering team on the core of Starburst’s software. This is a great opportunity to deepen your expertise in a rapidly evolving...

  • Data Engineer

    1 tydzień temu

    Warszawa, mazowieckie, mazowieckie, Polska Connectis Pełny etat

    Data EngineerMiejsce pracy: WarszawaTechnologie, których używamyWymaganeSparkScalaHiveSQLO projekcieRazem z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy osób na stanowiska Data Engineer. Projekty dotyczą bankowości B2B i B2C, obejmując platformy dla dużych kredytów i profesjonalnych pożyczek oraz aplikacje...

  • Data Engineer

    4 tygodni temu

    Warszawa, mazowieckie, mazowieckie, Polska PRETIUS SOFTWARE SP. Z O.O. Pełny etat

    Data EngineerMiejsce pracy: WarszawaTechnologies we useExpectedDatabricksApache AirflowAzure Cosmos DBPowerShellAbout the projectAt Pretius, we are looking for Data Engineer to an international project within the fuel industry.Your responsibilitiesCollaborate with a team of Data Engineers and Business Analysts to successfully deliver the data migration...

  • Data Engineer

    1 tydzień temu

    Warszawa, mazowieckie, mazowieckie, Polska OPTIVEUM SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ Pełny etat

    Data Engineer (Snowflake)Miejsce pracy: WarszawaTechnologies we useExpectedSQLGitHubJenkinsJiraSonarQubeSnowflake Data CloudOptionalPythonC#Microsoft AzureAWSOperating systemWindowsAbout the projectLocation: Fully remote (based in Poland)Type: B2B contractSalary: Up to 27 000 PLN (B2B) + paid holidaysOur client is a leader in the SaaS industry, specializing...

  • Data Quality Engineer

    2 dni temu

    Warszawa, mazowieckie, mazowieckie, Polska UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ Pełny etat

    Data Quality EngineerMiejsce pracy: WarszawaTechnologie, których używamyWymaganeSQLAirflowPythonAWSGitLabSnowflakeSystem operacyjnyWindowsO projekciePoszukujemy doświadczonego Data Quality Engineera, który będzie odpowiadał za zapewnienie spójności, integralności i wiarygodności danych w środowisku opartym o Snowflake.Rola koncentruje się na...

  • Senior Software Engineer

    4 tygodni temu

    Warszawa, mazowieckie, mazowieckie, Polska STARBURST DATA POLSKA sp. z o.o. Pełny etat

    Senior Software EngineerMiejsce pracy: WarszawaTechnologies we useExpectedJavaOperating systemWindowsAbout the projectStarburst is looking for strong Java engineers to work with our globally distributed engineering team on the core of Starburst’s software. This is a great opportunity to deepen your expertise in a rapidly evolving technology and make a...