Refactor dataplatform #19

New issue

Closed

opened 2026-08-20 20:36:26 +00:00 by tjarkvandemerwe · 0 comments

tjarkvandemerwe commented

2026-08-20 20:36:26 +00:00

Owner

Nieuwe structuur voor:

config yamls per bron, nu sub yamls per entity, in config map [done]
alle .example config en models gaan naar een templates map, mogelijk in de toekomst eigen repo, dit is waar de config staat die generiek is en onder versie beheer is. De organisatie specifieke uitwerking van de configs en models komt in de config/ en sqlmesh/models map. [done, alleen hoofd toml en dlt secrets nog niet] Deze staan niet onder versiebeheer van het platform. tzt nog iets bedenken dat lokale aanpassingen wel binnen je organisatie onder versiebeheer zouden kunnen vallen.
de lake stap is aangepast om met deze nieuwe config structuur om te kunnen gaan [done]
de staging stap is aangepast om met de nieuwe model structuur om te kunnen gaan [done]
de lake, staging, psa, ggm en datamart mappen verdwijnen. Alle functies komen onder tools te staan. Alle documentatie ergens anders. In plaats van dat dit packages zijn die geimporteerd kunnen worden met hun eigen init worden het nu losse functies uit tools die geimporteerd worden. [done]
tools bevat nu run_ functies voor de diverse stappen [done]
tools bevat nu load_staging_ voor de diverse staging helpers [done]
tools bevat nu load_lake_ functies [done]
enkele tests toegevoegd in deze refactor om te blijven checken of stukjes code bleven werken, ook omdat de coding agent een keer wat overijverig was, nog een keer kritisch door deze tests heen lopen [done]
scaffolding functies nog even langs lopen [half gedaan, werkt nu voor psa]
init functies langslopen en aanvullen [half gedaan, werkt nu voor cbs_gebiedsindelingen]
lake stap doet nu ook indien nodig een unzip stap, zodat staging readers altijd met niet gecomprimeerde bronnen werken. Zodat deze readers altijd met dezelfde structuur kunnen werken. [done]

todo: alle datasets opnieuw testen, scaffolding en init laag strak trekken

Nieuwe structuur voor: - config yamls per bron, nu sub yamls per entity, in config map [done] - alle .example config en models gaan naar een templates map, mogelijk in de toekomst eigen repo, dit is waar de config staat die generiek is en onder versie beheer is. De organisatie specifieke uitwerking van de configs en models komt in de config/ en sqlmesh/models map. [done, alleen hoofd toml en dlt secrets nog niet] Deze staan niet onder versiebeheer van het platform. tzt nog iets bedenken dat lokale aanpassingen wel binnen je organisatie onder versiebeheer zouden kunnen vallen. - de lake stap is aangepast om met deze nieuwe config structuur om te kunnen gaan [done] - de staging stap is aangepast om met de nieuwe model structuur om te kunnen gaan [done] - de lake, staging, psa, ggm en datamart mappen verdwijnen. Alle functies komen onder tools te staan. Alle documentatie ergens anders. In plaats van dat dit packages zijn die geimporteerd kunnen worden met hun eigen __init__ worden het nu losse functies uit tools die geimporteerd worden. [done] - tools bevat nu run_ functies voor de diverse stappen [done] - tools bevat nu load_staging_ voor de diverse staging helpers [done] - tools bevat nu load_lake_ functies [done] - enkele tests toegevoegd in deze refactor om te blijven checken of stukjes code bleven werken, ook omdat de coding agent een keer wat overijverig was, nog een keer kritisch door deze tests heen lopen [done] - scaffolding functies nog even langs lopen [half gedaan, werkt nu voor psa] - init functies langslopen en aanvullen [half gedaan, werkt nu voor cbs_gebiedsindelingen] - lake stap doet nu ook indien nodig een unzip stap, zodat staging readers altijd met niet gecomprimeerde bronnen werken. Zodat deze readers altijd met dezelfde structuur kunnen werken. [done] todo: alle datasets opnieuw testen, scaffolding en init laag strak trekken

tjarkvandemerwe self-assigned this

2026-08-20 20:36:30 +00:00

tjarkvandemerwe added reference restructure

2026-08-20 20:36:42 +00:00

tjarkvandemerwe referenced this issue

2026-08-26 15:00:14 +00:00

restructure #21

tjarkvandemerwe closed this issue

2026-09-09 07:58:38 +00:00