transform_to_persistent

tjarkvandemerwe commented

2026-07-28 15:25:02 +00:00

Owner

Eerste versie van stap 3, data vanuit staging naar persistent laag. Eerste versie was automatische generatie en runnen van de sqlmesh, dit vervangen door de generatie van een fixed file, die vanaf dat moment een vast punt geeft voor de transformatie naar persistent. Eerste idee was dit doen op basis van nieuwe yaml file. Toch gekozen om dit 100% vanuit .sql file te doen. Hiermee is je sql file je vaste punt wat alles beschrijft wat er in deze stap gebeurt, en sqlmesh houdt dan automatisch de lineage e.d. bij voor metadata, dus dit hoef je ook niet uit een yaml te halen oid (moet ik nog testen), en dan develop je direct in sql code, zo dicht mogelijk bij de developer zodat je ook direct kan runnen en testen.

Dus je hebt nu:

sources/_.yaml: met alle info voor stap 1 en 2 (ingest en staging)
transform/models/psa/_/<per_tabel>.sql: met alle info voor stap 3

Ik ben me er van bewust dat de transform map nu veel te diep is. Deze moet nog opgeschoond. Kan naar transform/psa en transform/ggm etc. Of misschien 'sql' ipv 'transform', of 'models'.

De mapjes 1, 2, 3, etc. Die kunnen wat mij betreft in een 'procedure' folder, of 'script' folder, wat de stukken code bevat die de procedures voor de diverse stappen bevatten. Dus hier staat het lake.py script, en staging.py, etc.

Dus ook nog best wat te doen, maar wel weer een stapje.

Eerste versie van stap 3, data vanuit staging naar persistent laag. Eerste versie was automatische generatie en runnen van de sqlmesh, dit vervangen door de generatie van een fixed file, die vanaf dat moment een vast punt geeft voor de transformatie naar persistent. Eerste idee was dit doen op basis van nieuwe yaml file. Toch gekozen om dit 100% vanuit .sql file te doen. Hiermee is je sql file je vaste punt wat alles beschrijft wat er in deze stap gebeurt, en sqlmesh houdt dan automatisch de lineage e.d. bij voor metadata, dus dit hoef je ook niet uit een yaml te halen oid (moet ik nog testen), en dan develop je direct in sql code, zo dicht mogelijk bij de developer zodat je ook direct kan runnen en testen. Dus je hebt nu: - sources/<bron>_<dataset>.yaml: met alle info voor stap 1 en 2 (ingest en staging) - transform/models/psa/<bron>_<dataset>/<per_tabel>.sql: met alle info voor stap 3 Ik ben me er van bewust dat de transform map nu veel te diep is. Deze moet nog opgeschoond. Kan naar transform/psa en transform/ggm etc. Of misschien 'sql' ipv 'transform', of 'models'. De mapjes 1, 2, 3, etc. Die kunnen wat mij betreft in een 'procedure' folder, of 'script' folder, wat de stukken code bevat die de procedures voor de diverse stappen bevatten. Dus hier staat het lake.py script, en staging.py, etc. Dus ook nog best wat te doen, maar wel weer een stapje.

tjarkvandemerwe added 3 commits

2026-07-28 15:25:02 +00:00