Senior Big Data Engineer
4 tygodni temu
Jesteśmy 12 osobowym zespołem pracującym w SCRUMie w obszarze Big Data. Realizujemy projekty biznesowe jak i te R&D. Moglibyśmy o nich opowiadać godzinami, ale krótko nakreślając. Jesteśmy odpowiedzialni m.in za implementację rozwiązań z zakresu przetwarzania streamingowego (znacznie skróciliśmy czas ładowania danych pod raporting w banku). Dodatkowo, na co dzień blisko współpracujemy z zespołem Data Science, wdrażając i rozwijając rozwiązania ML/AI. Do naszych głównych obowiązków należy też wsparcie architektoniczne i wdrożeniowe dla innych zespołów projektowych.
Tech stack w którym pracujemy to m.in. Python, Java, Kubeflow, Kafka, Hadoop Cloudera (CDP), Spark, Nifi, GX i wiele więcej
Przed nami również droga wchodzenia w chmurę (GCP i Azure).
forma współpracy: umowa o pracę
tryb działania: praca zdalna + spotkania zespołowe w Warszawie (2x/miesiąc)
- projektowanie architektury i wdrażanie nowoczesnych systemów przetwarzania danych w obszarze Big Data. Systemy mogą również obejmować elementy analityki strumieniowej i uczenia maszynowego
- dbanie o wysoką jakość procesu rozwojowo-wdrożeniowego
- dbanie o wysoką jakość dokumentacji technicznej
- poszukiwanie nowych rozwiązań oraz ich implementację (R&D)
- współpraca z innymi zespołami w celu wsparcia developmentu
- masz min. 5 lata komercyjnego doświadczenia w programowaniu w Spark procesów batch/streaming w Python
- masz doświadczenie w projektowaniu architektury rozwiązań
- posiadasz wiedzę z zakresu Big Data, Hurtowni Danych i Zarządzania Danymi
- znasz platformę Hadoop Cloudera/Hortonworks
- posiadasz wiedzę z zakresu dobrych praktyk przetwarzania dużych zbiorów danych, w tym standardów projektowania, kodowania, dokumentowania, testowania i wdrażania
- znasz technologie i narzędzia strumieniowe takie jak Kafka, Apache Nifi
- masz doświadczenie z różnymi formatami danych: JSON, PARQUET, ORC, AVRO
- posiadasz zrozumienie typów baz danych i scenariuszy użycia, np. hive, kudu, hbase, Iceberg itp.
- znasz język SQL na poziomie zaawansowanym
- masz doświadczenie w integracji danych z wielu źródeł
mile widziane:
- praktyczna znajomość procesów i narzędzi Agile: Jira, Confluence, Kanban, Scrum itp.
- praktyczna wiedza w zakresie automatyzacji CI/CD
- Zapoznamy się z Twoim CV.
- Porozmawiasz z rekruterką.
- Spotkasz się online z przyszłą menadżerką i osobą z zespołu.
- Damy znać, jak Ci poszło - trzymamy kciuki
- mamy różnorodne obszary - od infrastruktury IT, przez deweloperskie, aż po cyberbezpieczeństwo, wspieramy mobilność wewnętrzną pomiędzy zespołami i projektami,
- pomagamy zdobyć wiedzę i umiejętności branżowe (certyfikowane kursy online z zakresu chmury, LinkedIn Learning, Pluralsight),
- oferujemy programy rozwojowe mBanku, np.: Data Academy, Akademia Bezpieczeństwa, Z energią po zdrowie, Piątki z rozwojem, ODnowa (program wspierający pracę i zarzadzanie w środowisku zdalnym i hybrydowym,
- wspieramy w opracowaniu indywidualnych planów rozwojowych i odkrywaniu mocnych stron wykorzystując podejście Instytutu Gallupa,
- możliwość aktywnego udziału w organizacji Wielkiej Orkiestry Świątecznej Pomocy, Pol’and’Rock Festival oraz wspierania innych dobroczynnych inicjatyw.
- dofinansowanie do opieki medycznej LuxMed
- dofinansowanie do karty Multisport
- dofinansowanie ubezpieczenia Uniqua
- dofinansowanie świąt, wypoczynku, ZFŚS
- dostęp do aplikacji Legimi, LinkedIn Learning, do nauki języków obcych
- zniżki u partnerów
- rozwój pasji i zainteresowań w ramach mKlubów
- nagrodę pieniężną za skuteczne polecenie w ramach programu poleceń
- możliwość udziału w rekrutacji wewnętrznej
-
Senior Data Engineer
2 tygodni temu
Warszawa, mazowieckie, Polska Billennium Pełny etatAs a Senior Data Engineer, you’ll be responsible for designing, developing, and maintaining our data infrastructure to ensure scalability and efficiency. Working closely with data scientists, analysts, and stakeholders, you’ll optimize data flows, enhance data quality, and support analytics and machine learning projects.✔️ Key responsibilities:Build...
-
Big Data Solutions Architect
3 tygodni temu
Warszawa, mazowieckie, Polska BlueSoft Pełny etatJob Summary:Data Solutions Architects play a key role in designing and delivering advanced data architectures and analytics solutions. Focused on both cloud and on-premise environments, this role ensures robust data management and security. You will lead architectural sessions, create proof-of-concepts, and collaborate with clients to build scalable, secure...
-
Senior Data Engineer
2 miesięcy temu
Warszawa, mazowieckie, Polska BlueCloud Pełny etatAs a Senior Data Engineer at BlueCloud, you will:•Design, Architect, and Develop solutions leveraging cloud big data technology to ingest, process and analyze large, disparate data sets to exceed business requirements•Develop systems that ingest, cleanse and normalize diverse datasets, develop data pipelines from various internal and external sources and...
-
Senior Data Engineer
1 miesiąc temu
Warszawa, mazowieckie, Polska Tangome Poland Sp. z o.o. Pełny etatDescription Tango is a successful, market leader, a live-streaming Platform with 500+ Million registered users, in an industry projected to reach $240 BILLION in the next couple of years. The B2C platform, based on the best-quality global video technology, allows millions of talented people around the world to create their own live content, engage with their...
-
Big Data Analyst
2 tygodni temu
Warszawa, mazowieckie, Polska InPost Pełny etatRole Overview:As a Big Data Analyst, you will be at the forefront of analyzing vast volumes of real-time data from diverse systems, including parcel lockers, package lifecycle, transportation, user communication and similar topics relative to InPost Group products. This role spans across Poland and extends to 7 international markets, offering a unique...
-
Senior Data Engineer
2 tygodni temu
Warszawa, mazowieckie, Polska NeoGames Pełny etatNeoGames is a leader in the iLottery and iGaming space offering solutions spanning game studios, game aggregation, lotteries, online casino, sportsbook, bingo, and managed services offered through an industry leading core platform.The Data & BI team owns the group’s Data & Analytics platforms spanning Data Engineering,Analytical Engineering and Business...
-
Warszawa, mazowieckie, Polska PKO BANK POLSKI S.A. Pełny etatDołącz do nas jako: MLOPS ENGINEER/STARSZY SPECJALISTA DS. BIG DATA RYZYKA KREDYTOWEGOBiuro Informacji Ryzyka Kredytowego - Warszawa, Świętokrzyska 36Na co dzień w naszym zespole:utrzymujesz i rozwijasz platformę MLOps, która pozwala zespołom Data Science efektywnie budować modele ML,testujesz, monitorujesz, poprawiasz wydajność działania modeli...
-
Senior Data Engineer
3 tygodni temu
Warszawa, mazowieckie, Polska Falck Digital Technology Poland Pełny etatAs an member of our People & Culture & ESG domain team serving Group Functions, you will be joining forces on ESG compliance data projects & data solutions regarding Falck global workforce. Example: Provide safety department with qualitative insights into workforce accidents. This role entails seamlessly integrating with source systems and establishing data...
-
Senior Data Engineer
2 tygodni temu
Warszawa, mazowieckie, Polska Falck Digital Technology Poland Pełny etatAs an member of our People & Culture & ESG domain team serving Group Functions, you will be joining forces on ESG compliance data projects & data solutions regarding Falck global workforce. Example: Provide safety department with qualitative insights into workforce accidents. This role entails seamlessly integrating with source systems and establishing data...
-
Data Engineer
2 miesięcy temu
Warszawa, mazowieckie, Polska Formula5 Pełny etatAbout UsFormula5 is a dynamic and expanding data consulting firm specializing in Microsoft Azure's cutting-edge technologies, including the powerful Microsoft Fabric suite. We cultivate a collaborative and supportive atmosphere where your individual growth is as important as our collective success. Join our passionate team and shape innovative data...
-
Senior Data Engineer
1 miesiąc temu
Warszawa, mazowieckie, Polska Volkswagen Financial Services Pełny etatJoin our newly created European Data & Analytics HUB!This strategic initiative is created to enable the change of Volkswagen Financial Services (VWFS) to a data-driven company. Our goal is to empower all VWFS business units to use data effectively, efficiently and compliantly in their business decisions.D&A originally has been set up as central HQ function...
-
Data Analyst
2 miesięcy temu
Warszawa, mazowieckie, Polska Kordian Group sp zoo Pełny etatAbout the CompanyKordian Group and our sister company, Akord LLC, extend and complement IT for marquee brands across the world.We are building and operating excellence centers for clients operating in the United States, Canada, Netherlands, Germany and several other European countries. We work with the latest technologies in data analysis, software...
-
Data Engineer w Snowflake Mid
1 miesiąc temu
Warszawa, mazowieckie, Polska ITLT Pełny etatIT LeasingTeam realizuje usługi w zakresie pozyskiwania dla organizacji wysokiej klasy specjalistów i kadry zarządzającej z obszaru IT a także rozwija i wdraża nowoczesne rozwiązania IT w ramach outsourcingu procesów. IT LeasingTeam wspiera procesy biznesowe firm, umożliwiając im zwiększenie elastyczności i budowanie przewagi...
-
Data Engineer
2 tygodni temu
Warszawa, mazowieckie, Polska Billennium Pełny etatAbout the role:We are seeking a Senior Data Engineer with strong experience in DBT, data warehousing, and SQL. In this role, you'll work collaboratively to optimize data solutions and lead the transition of stored procedures to DBT models. ✔️ Key responsibilities:Analyze existing stored procedures to identify candidates for migration to DBT.Convert...
-
Data Engineer in Product Analytics
4 tygodni temu
Warszawa, mazowieckie, Polska ING Hubs Poland Pełny etatWe are looking for you, if you have:hands-on experience building complex data pipelines,strong experience in data processing and optimization using Apache Spark, good knowledge of data manipulation and transformation,experience with Apache Airflow, Python, SQL, knowledge of software engineering best practices, deployment and provisioning automation tools...
-
Data Engineer
4 tygodni temu
Warszawa, mazowieckie, Polska Clouds on Mars Sp. z o.o. Pełny etatYour responsibilitiesDelivering Azure-based analytical solutionsCooperating with architects and stakeholders on a customer’s sideDesiging DWH architectureDesigning Data processing platformDeveloping and designing ETL conceptsIncorporating of DWH into Company IT architectureSupporting analysts in data model designingDesigning ETL, DWH refresh concepts We...
-
Data Engineer with GCP
4 dni temu
Warszawa, mazowieckie, Polska Lingaro Pełny etatTasks:You will be a part of the team accountable for design, model and development of whole GCP data ecosystem for one of our Client’s (Cloud Storage, Cloud Functions, BigQuery) Involvement throughout the whole process starting with the gathering, analyzing, modelling, and documenting business/technical requirements will be needed. The role will include...
-
Data Engineer with Azure
2 tygodni temu
Warszawa, mazowieckie, Polska Billennium Pełny etatWe’re looking for an experienced Data Engineer skilled in Azure and data pipeline optimization to design, build, and streamline scalable data pipelines and storage solutions that support analytics and machine learning.✔️ Key responsibilities:Design, deploy, and maintain data solutions on Azure (Data Factory, Databricks, SQL Database, Synapse).Manage...
-
Senior Data Engineer
1 miesiąc temu
Warszawa, mazowieckie, Polska VISA Pełny etatVisa is a world leader in payments and technology, with over 259 billion payments transactions flowing safely between consumers, merchants, financial institutions, and government entities in more than 200 countries and territories each year. Our mission is to connect the world through the most innovative, convenient, reliable, and secure payments network,...
-
Senior Cloud Engineer Data and Analytics
2 miesięcy temu
Warszawa, mazowieckie, Polska Google Pełny etatAbout the jobIn this role, you will guide customers on how to ingest, store, process, analyze, and explore/visualize data on the Google Cloud Platform. You will work on data migrations and modernization projects, and with customers to design large-scale data processing systems, develop data pipelines optimized for scaling, and troubleshoot potential...