Data Engineer

Hledáme do našeho týmu v Praze data engineera, který bude mít na starosti náš data warehouse implementovaný na technologiích AWS Athena (Trino), Apache Iceberg a DBT.

Co děláme?

Data warehouse používají především data scientisti, kteří nad daty vytvářejí modely, které automatizovaně obchodují na sportovních burzách. To, že pomocí těchto modelů dokážeme určit pravděpodobnosti výsledků sportovních zápasů, nás živí. Data jsou alfa a omega toho, co děláme.

Data do našeho data warehouse přicházejí z různých zdrojů, například z APIček burz, události ze sportovních zápasů (góly, karty, odehrané míčky, zranění, výměny hráčů, atd.) a také z externích datových zdrojů, jako jsou například statistiky z minulých zápasů. Vetšinou se do databáze dostanou z Kafky, která ukládá všechny zprávy na AWS S3. Nad nimi pak běží SQL transformace, které orchestrujeme pomocí DBT.

Dat je spousta. Na vstupu nám měsíčně přicházejí desítky TB a miliard záznamů dat. V ČR mnoho větších datových korpusů nenajdeš. Zajímavá výzva je i dostat data do formátu, který je pro data scientisty přehledný a snadno použitelný. Data science team je hodně otevřený novým technologiím. Teď třeba experimentujeme s Polars (místo Pandas) a DuckDB pro lokální SQL transformace. V Ematiqu je obecně hodně otevřený přístup k novým technologiím a věcem, které by mohly pomoci vývoji. Pravidelně pořádáme Hackatony, na kterých často adoptujeme nové technologie.

Kromě datových scientistů máme v Ematiqu ještě developery, kteří implementují naši tradingovou platformu a tradery, kteří obchodují na sportovních burzách. Ti jednak dohlížejí na automatizované obchodování nebo obchodují sami a společně s data scientisty vymýšlejí nové strategie. Ve všech týmech se potkáš s velmi inspirativními a chytrými lidmi. Pracují u nás vynikající šachisté, matematici, programátoři, ale i třeba nejlepší hráči pokeru v ČR.

Data scientisti umí SQLko a používají především Python. Základní platforma je napsaná ve Scale. Většina věcí nám běží na AWSku.

Nečekáme, že víš a znáš všechno. Důležité je, že máš chuť se rychle učit a zlepšovat se.

Koho hledáme?

Hledáme data engineera, který bude mít kompletně na starosti náš data warehouse. Bude se starat především o jeho strukturu, konzistenci a transformace, které ho plní (ELT). Bude umět poradit data scientistům a vývojářům, jak data z warehouse používat.

Očekáváme, že umíš perfektně SQL. Budeš vytvářet data transformace, které produkují správná data dostatečně rychle. Vzniklé transformace pak budeš orchestrovat pomocí DBT, Python scriptů a shell scriptů. Pokud bude třeba, můžeš třeba zkusit zavést i něco pokročilejšího (třeba Airflow). V technologiích budeš mít nevídanou volnost, ale na druhé straně i zodpovědnost, že to, co navrhneš a vybereš bude fungovat.

Tahle pozice je podle nás ideální pro někoho, kdo se už tak trochu nudí u malých dat (třeba v Postgresu nebo SQL serveru) a chce udělat další krok směrem k moderním cloudovým technologiím, Dockeru, Parquetu a obecně k velkým datům.

Co nabízíme?

Ematiq rozhodně není korporát, ve kterém právě děláš nebo do kterého směřuje ta super firma, do které jsi před pár lety nastupoval :) Tady je každý člověk důležitý a má vliv na to, jak se všechno děje. Nikdo nebude kontrolovat jestli jsi tady od osmi do pěti. Chápeme, když se potřebuješ soustředit a pracovat z domova nebo pořešit rodinné záležitosti.

Na druhou stranu všichni od Tebe očekávají, že to, za co jsi zodpovědný funguje a viditelně se posouvá dopředu. Tuhle zodpovědnost dokážeme ocenit finančně lépe než Ti, pro které pracuješ teď. Všechny ostatní výhody jako je třeba Multisportka, krabičky k obědu, "hladový šuplík", to nejlepší kafe, a tak dále jsou samozřejmostí.

Sedíme v centru Prahy na Andělu.

Máš zájem?

Pokud Tě tohle zaujalo, tak se ozvi a rádi si s Tebou popovídáme.