Freelance Data Engineer (Postgres / Systemintegration)

über juni

JUNI ist ein gemeinnütziges Ökosystem für Wissenschaft und Ausgründungen in Berlin. Wir betreiben unsere Programme über sieben SaaS-Tools hinweg — Newsletter, Events, Community, CRM, Formulare, Bewerbungen, Coworking — und darunter eine Postgres-Datenbank, die der eine Ort sein soll, an dem eine Person existiert.

Auf die Datenbank kommt es an. Ein aufgelöster Datensatz pro Person und pro Organisation, eine append-only-Zeile pro Interaktion, und ein deterministischer Weg zu entscheiden, zu welcher Person ein eingehender Payload gehört. Ziel ist, den Weg vom ersten Kontaktpunkt bis zum Meilenstein messbar zu machen. Die Verbindungsschicht zwischen den Tools und dieser Datenbank ist die Aufgabe.

deine aufgaben

Die Schicht bauen, die unsere Systeme mit einer Datenbank verbindet — in beide Richtungen — und uns dabei helfen, das Datenmodell richtig hinzubekommen.

Die Form der Daten steht weitgehend, und jedes neue System stellt sie auf die Probe. Quellen sind sich nicht einig, was als eine Person zählt, wann etwas passiert ist, und ob sie es zweimal melden. Das zu klären — und zu erkennen, wann das Modell angepasst werden muss, statt es um eine Quelle herumzubiegen — ist der Kern der Arbeit.

Wir suchen jemanden, der das mit uns durchdenkt und für einen bestimmten Entwurf argumentiert, nicht nur umsetzt, was spezifiziert ist.

dein profil

Umfang

Inbound Jedes System in die Datenbank. Mehrere Pipelines pro System — Quellen melden sehr unterschiedliche Dinge. Identitätsauflösung über Systeme hinweg. Outbound Manche Zustände entstehen bei uns, nicht im Tool. Die Datenbank entscheidet und schiebt an die Plattform, die es ausführt. Beide Richtungen sauber halten Plattformen melden zurück und widersprechen uns manchmal. Wer sich abgemeldet hat, darf nicht wieder hinzugefügt werden. Reporting KPI-Daten müssen in einem BI-Tool ankommen. Sie dorthin zu bringen gehört dazu, Dashboards bauen nicht. Suche Den Datenbestand in natürlicher Sprache durchsuchbar machen. Dokumentation Entscheidungen schriftlich, Pipelines in GitHub.

Nicht Teil der Rolle

• Frontend. Es gibt keins und es ist keins geplant.

Voraussetzungen

Integration gegen Third-Party-APIs und Webhooks , in der Tiefe: Pagination, Retries, Signaturprüfung, Rate Limits, undokumentierte Payload-Strukturen, verspätete und vertauschte Events, Quellen, die bei jeder Änderung feuern und nicht sagen, was sich geändert hat.