V naši ekipi ima podatkovna platforma ključno vlogo pri razvoju digitalnih produktov, analitike in naprednih rešitev.
Sodeloval/a boš pri uvajanju novih podatkovnih virov, event ingestionu na osnovi Kafke, ingestiji datotek in baz podatkov, definiranju podatkovnih pogodb na infrastrukturnem nivoju ter vzpostavljanju kontrol kakovosti, da podatki prihajajo natančno, konsistentno in pravočasno.
Razpisujemo delovno mesto: DATA INGESTION ENGINEER (M/Ž)
ODGOVORNOSTI
- Načrtovanje, razvoj in vzdrževanje integracij izvornih sistemov za strukturirane, polstrukturirane in dogodkovne podatke.
- Razvoj in upravljanje streaming pipeline-ov na osnovi Kafke za skoraj realnočasovno ingestijo podatkov.
- Gradnja in vzdrževanje batch ingestion procesov z uporabo orodij in tehnologij, kot so Logstash, object storage, Parquet, Python in orkestracijska orodja.
- Implementacija in podpora sinhronizaciji MySQL replik ter drugih vzorčno usklajenih ekstrakcijskih pristopov.
- Zagotavljanje zanesljivih tokov podatkov od vira do raw sloja ter stabilnega, opaznega in skalabilnega delovanja pipeline-ov.
- Definiranje in vzdrževanje podatkovnih pogodb (data contracts) med virom in raw slojem ter na infrastrukturnem nivoju (sheme, svežina podatkov, SLA-ji).
- Implementacija kontrol kakovosti podatkov (preverjanje shem, popolnosti, svežine, zaznavanje anomalij).
- Spremljanje SLA-jev ingestiona, prepustnosti, latence, napak in splošnega zdravja pipeline-ov (dashboardi, alerti).
- Podpora cloud ingestion orodjem in shranjevalnim vzorcem (object storage, orkestrirani ingestion procesi).
- Dokumentiranje integracij, logike pipeline-ov, runbookov in postopkov za obravnavo incidentov.
- Sodelovanje z ekipami za platformo, infrastrukturo, analitiko in downstream razvojem za zanesljiv prenos podatkov v nadaljnje faze obdelave.
PRIČAKUJEMO
- Praktične izkušnje z razvojem in upravljanjem ingestion pipeline-ov (batch in streaming).
- Odlično poznavanje Kafke (producer/consumer modeli, particioniranje, offseti, monitoring).
- Izkušnje z Logstash, object storage vzorci in formati podatkov (Parquet, JSON, CSV).
- Zelo dobro znanje Python in SQL za ekstrakcijo podatkov, logiko pipeline-ov, avtomatizacijo in odpravljanje - težav.
- Izkušnje z orkestracijskimi orodji (npr. Airflow), vključno s planiranjem, retry mehanizmi, odvisnostmi in backfill procesi.
- Razumevanje relacijskih baz (npr. MySQL) in analitičnih ali realnočasovnih podatkovnih sistemov (npr. ClickHouse).
- Izkušnje z uporabo cloud ingestion orodij, shranjevalnih storitev in pristopov, ki temeljijo na podatkovnih pogodbah.
- Dobro razumevanje ingestion vzorcev (CDC, incremental load, schema evolution, idempotent processing, raw-layer arhitektura).
- Izkušnje z monitoringom, observability, alertingom, spremljanjem SLA-jev in operativno podporo produkcijskim pipeline-om.
- Poznavanje Git razvojnih procesov in CI/CD praks.
PONUJAMO
- Redno zaposlitev za nedoločen čas s poskusno dobo 6 mesecev.
- Delo na sodobni podatkovni platformi z velikimi količinami podatkov.
- Sodelovanje pri razvoju digitalnih produktov in podatkovnih rešitev.
- Možnost dela z naprednimi tehnologijami in strokovnega razvoja.
- Vloga vključuje razvoj rešitev in sodelovanje z ekipami na ravni treh trgov – Slovenije, Hrvaške in Bolgarije.
- Recharge by PPF – mesec dodatnega plačanega dopusta po 5 letih zaposlitve.
- Celovit program ugodnosti PRO PLUS (VOYO, šport, dogodki, wellbeing).
