Senior Data Engineer- Databricks

Senior Data Engineer- Databricks Miejsce pracy: Kraków Technologies we use Expected Databricks Delta Lake Spark SQL Python SQL Apache Spark Microsoft Azure AWS Google Cloud Platform Optional Azure Data Factory Apache Airflow Snowflake Data Cloud Synapse Red Gate Unity Catalog Purview Microsoft Power BI Tableau About the project We are looking for a skilled and proactive Senior Data Engineer with deep expertise in Databricks to join our data platform team. You will be responsible for designing, building, and optimizing scalable data pipelines and lakehouse architectures that power analytics, reporting, and machine learning across the organization. Location: Poland (office in Krakow/Wroclaw or 100% remote) This role is part of a US-based project and follows the US Central Time schedule. We expect candidates to be available from 4 PM to at least 8 PM CET/CEST. Priority will be given to candidates who can meet these hours. Your responsibilities Develop and maintain robust ETL/ELT pipelines using Databricks and Apache Spark Design and implement Delta Lake architectures for structured and semi-structured data Collaborate with data analysts, scientists, and product teams to deliver clean, reliable datasets Optimize performance of Spark jobs and manage cluster resources efficiently Automate workflows using Databricks Jobs, Workflows Ensure data quality, lineage, and governance using Unity Catalog and monitoring tools Document data models, pipeline logic, and architectural decisions Participate in code reviews and contribute to engineering best practices Our requirements 4 years of experience as a Data Engineer or in a similar role Strong hands-on experience with Databricks, including Delta Lake, Spark SQL Proficiency in Python and SQL for data manipulation and pipeline development Solid understanding of Apache Spark internals and performance tuning Experience with cloud platforms (Azure, AWS,GCP) Knowledge of data modeling, partitioning, and lakehouse principles Ability to work with large-scale datasets and optimize storage and compute costs Strong communication skills and ability to collaborate across teams English proficiency- at least B2 level Highly desirable: availability to work from 4pm to at least 8pm CET/CEST Optional Experience with Azure Data Factory or Airflow Proficiency with modern data warehouses and tools including Snowflake, Synapse, Red Gate Exposure to data governance frameworks and tools (e.g., Unity Catalog, Purview) Understanding of machine learning workflows and integration with data pipelines Experience with BI tools (Power BI, Tableau) and supporting analytics teams Contributions to open-source projects or technical blogs What we offer Flexible working time - you can agree on it within the team Necessary tools and equipment Communication in English - only foreign customers, and international Teams Simple structure and 'open door' way of communication Full-time English teachers Medical insurance for employees HiQo University- internal education and training programs HIQO COINS - We have a system of rewarding employees for extracurricular activities Benefits private medical care sharing the costs of foreign language classes remote work opportunities flexible working time integration events HIQO SOLUTIONS sp. z o.o. At HiQo we focus on developing entire IoT systems. We design devices, write software that brings them to life, and create applications that connect them to end users. We solve technological challenges from all over the world and we do it by creating something from scratch. And at the end of the day we get to have that special sense of tangible achievement that you dont always get elsewhere. Location: Poland (office in Krakow/Wroclaw or 100% remote) Klikając w przycisk "Aplikuj" lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez HIQO SOLUTIONS sp. z o.o. z siedzibą w: pl. Solny 14/3, 50-062 Wrocław (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu. Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: eliza.rozmus@hiqo-solutions.com.