Data Engineer

Data Engineer (Senior / Lead) Miejsce pracy: Gdańsk Technologies we use Expected Python Google Cloud Platform DataFlow ETL Optional Apache Flink Java TypeScript Operating system Windows Linux About the project We're looking for an experienced Data Engineer - ideally a former Backend Engineer - to build a scalable data pipeline from scratch. The project is in its early architecture phase, so we need someone independent and proactive to deliver end-to-end solutions. You'll join a fast-growing international team leveraging hardware and software to transform physical spaces with data-driven insights. Contract Duration: 6 months with possibility of extension. Your responsibilities Design and implement data pipelines from the ground up (ETL, real-time data processing). Define and establish the data architecture. Integrate data from multiple sources (IoT sensors, Shopify, weather data, and other third-party APIs). Collaborate with the Data Science team to deploy predictive algorithms (e.g., forecasting store occupancy based on historical data). Prepare the environment for future adoption of Apache Flink (Java) for streaming data. Ensure data quality, scalability, and security within GCP infrastructure. Our requirements Strong Python expertise (pipeline development, ETL). Hands-on experience with Google Cloud Platform (BigQuery, Pub/Sub, Dataflow or similar). Familiarity with Apache Flink or willingness to learn (Java-based). Solid Backend Engineering background (e.g., Typescript, system architecture). Experience integrating external data sources (APIs, e-commerce platforms, weather data). Excellent communication skills and ability to work independently. Minimum 4–5 years of professional experience in Data Engineering / Backend development. Fluency in English both written and spoken. Optional Experience with AI / Machine Learning projects. Exposure to IoT data (sensor-driven, event-based architectures). Knowledge of orchestration tools (Airflow, Prefect). Consulting experience This is how we organize our work This is how we work at the client's site you focus on a single project at a time you have influence on the choice of tools and technologies you have influence on the technological solutions applied you have influence on the product you develop the code "from scratch" you focus on product development scrum Team members backend developer frontend developer fullstack developer technical leader data scientist manual tester product owner scrum master IT administrator This is how we work on a project Clean Code code review architect / technical leader support Continuous Integration DevOps issue tracking tools functional tests test automation manual tests Development opportunities we offer conferences in Poland external training intracompany training mentoring soft skills training substantive support from technological leaders support of IT events technical knowledge exchange within the company the company supports open source projects What we offer Competitive Compensation: Attractive salary with a comprehensive benefits package, including life insurance, private medical care, and Multisport / PZU Sport memberships. Flexible Working Hours: Options for flexible hours to support work-life balance. Stable Employment: Choose between an employment contract or B2B, both offering competitive compensation and long-term stability. Professional Growth: Significant opportunities to develop technical skills and advance your career by working on innovative projects. Collaborative Environment: A friendly and dynamic work culture with a team of highly qualified professionals. Global Experience: Engaging work with customers and suppliers worldwide, providing a diverse and stimulating work environment. Benefits sharing the costs of sports activities private medical care sharing the costs of professional training & courses life insurance flexible working time integration events no dress code coffee / tea parking space for employees employee referral program Recruitment stages Application selection Pre-screening Interview with customer Job offer Please submit your CV in English. SOFTGENT SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ Vision Advancing Global Industries with Tech and Engineering - Our vision is to redefine the landscape of technology, driving progress with innovative solutions and the pinnacle of engineering expertise. Mission We harness the power of breakthrough technology with confidence and deliver practical, effective solutions. Our commitment to pushing boundaries drives us to provide our clients with innovative products and services at the cutting edge of engineering. Our dedication to excellence and fostering progress creates value through ingenuity with every project we undertake. Values We deliver cutting-edge, practical solutions with unwavering excellence, driven by our customer's needs and defined by our passion for engineering. Our commitment to integrity, collaboration, and sustainability ensures that every project sets new industry benchmarks and reinforces our confidence in our abilities. Klikając w przycisk "Aplikuj" lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez SOFTGENT SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ z siedzibą w: ul. Budowlanych 31D/301, 80-298 Gdańsk (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu. Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: malwina.reichmann@softgent.com.