Senior Data Engineer

Opis stanowiska
Dołącz do zespołu rozwijającego enterprise’ową platformę danych dla rynku finansowego, wspierającą analitykę. Poszukujemy Senior Data Engineera odpowiedzialnego za projektowanie, rozwój i utrzymanie wysokowydajnych rozwiązań przetwarzających duże wolumeny danych w trybie near real-time. Platforma obsługuje miliony komunikatów dziennie, zapewniając odświeżanie danych nawet co 1 sekundę. Obejmuje także archiwizację z 2-letnią retencją, integrację z systemami komunikacyjnymi, w tym RabbitMQ, oraz wymagania dotyczące wysokiej dostępności, wydajności i skalowalności. Wymagania Kilka doświadczenia z PostgreSQL i bardzo dobra znajomość SQL. Praktyczna znajomość PL/pgSQL, w tym procedur, funkcji i triggerów. Doświadczenie w relacyjnym modelowaniu danych, normalizacji i denormalizacji. Praktyka w pracy z dużymi wolumenami danych oraz systemami wysokiej dostępności. Doświadczenie w optymalizacji zapytań SQL, procesów ETL i wydajności baz danych. Umiejętność analizy planów wykonania, strojenia indeksów i monitorowania PostgreSQL. Znajomość systemu Linux. Wykształcenie wyższe techniczne lub ścisłe. Język angielski na poziomie minimum B2. Kluczowe obszary techniczne PostgreSQL i modelowanie danych Znajomość architektury PostgreSQL, partycjonowania tabel oraz indeksów. PL/pgSQL Tworzenie procedur, funkcji i triggerów oraz implementacja logiki biznesowej w warstwie bazodanowej. Performance tuning i monitoring Analiza planów wykonania, optymalizacja SQL, strojenie indeksów ETL i near real-time processing Projektowanie i optymalizacja procesów ETL dla wielu milionów komunikatów dziennie, z odświeżaniem danych co sekundę Data architecture i integracje Projektowanie wysokodostępnych, skalowalnych rozwiązań oraz integracja z systemami komunikacyjnymi, w szczególności RabbitMQ. Mile widziane Python — automatyzacja i przetwarzanie danych. Kafka lub RabbitMQ — przetwarzanie komunikatów i strumieni danych. Apache Airflow — orkiestracja procesów danych; Spark lub Beam. Doświadczenie z CI/CD. Doświadczenie w sektorze bankowym, finansowym etc. Znajomość technologii Big Data. Znajomość GCP, Rust, BigQuery, narzędzi OCR Co zyskujesz dołączając do Bluesoft: ‍ Współpracę w zespole interdyscyplinarnych ekspertów – entuzjastów technologii, ceniących bezpośredniość i partnerskie relacje; Długoterminowe zaangażowanie projektowe w firmie, która nieprzerwanie od ponad 20 lat rozwija się na rynku IT; Udział w różnorodnych projektach IT realizowanych dla rozpoznawalnych klientów – liderów w swoich branżach; Dostęp do najnowszych technologii i środowisko oparte na najwyższych standardach inżynieryjnych; ⌚️ Elastyczne warunki realizacji usług – hybrydowo lub w pełni zdalnie, dopasowane indywidualnie do charakteru współpracy (każdy zespół ustala to samodzielnie); ☁ Ekosystem wymiany wiedzy i rozwoju: szkolenia wewnętrzne, gildie tematyczne, szkolenia i certyfikacje Cloud w ramach partnerstw technologicznych z czterema dostawcami chmury; Dostęp do nauki języka angielskiego lub niemieckiego online oraz grupowe zajęcia językowe; ️‍♂️ Możliwość przystąpienia do Multisport i prywatnej opieki medycznej na preferencyjnych warunkach wynegocjowanych przez Bluesoft; ⛵️ Morskie przygody – rejsy po Morzu Karaibskim, Śródziemnym i Północnym z dofinansowaniem ze strony Bluesoft.