GemAlmelo/DataplatformTwente
18
5
Fork 0
Code Issues 9 Pull requests Projects Releases Packages 1 Wiki Activity Actions

restructure #21

Merged
luuk.oudehampsink merged 20 commits from restructure into main 2026-09-09 07:25:19 +00:00
Conversation 4 Commits 20 Files changed 150 +5423 -2799
tjarkvandemerwe commented 2026-08-26 15:00:14 +00:00
Owner
Copy link

Zie issue #19 voor status. Zit nu in een fase waarin het platform weer draait op de nieuwe manier. Het zou gemerged kunnen worden waarbij de overige features later worden toegevoegd.

Zie issue #19 voor status. Zit nu in een fase waarin het platform weer draait op de nieuwe manier. Het zou gemerged kunnen worden waarbij de overige features later worden toegevoegd.
tjarkvandemerwe commented 2026-08-28 08:54:25 +00:00
Author
Owner
Copy link

Mijn tests met de duckdb variant lopen vast op de nieuwe naamgeving. Volgens mij mag bij duckdb het bestand niet gelijk heten aan het schema, of het schema en de tabel niet gelijk, zoiets. Nog even verder induiken, maar weet dat dit pad nog niet werkt.

Mijn tests met de duckdb variant lopen vast op de nieuwe naamgeving. Volgens mij mag bij duckdb het bestand niet gelijk heten aan het schema, of het schema en de tabel niet gelijk, zoiets. Nog even verder induiken, maar weet dat dit pad nog niet werkt.
luuk.oudehampsink commented 2026-09-02 14:34:53 +00:00
Owner
Copy link

Had nog een issue met ophalen van de BAG Extract, maar dit is verwacht ik een memory issue.
Denk eerder dat dit een refactor moet zijn om chunked zips op te halen, temp/parts weg te schrijven. Niet direct gerelateerd aan de refactor.

Had nog een issue met ophalen van de BAG Extract, maar dit is verwacht ik een memory issue. Denk eerder dat dit een refactor moet zijn om chunked zips op te halen, temp/parts weg te schrijven. Niet direct gerelateerd aan de refactor.
tjarkvandemerwe commented 2026-09-04 13:58:17 +00:00
Author
Owner
Copy link

@luuk.oudehampsink wrote in #21 (comment):

Had nog een issue met ophalen van de BAG Extract, maar dit is verwacht ik een memory issue. Denk eerder dat dit een refactor moet zijn om chunked zips op te halen, temp/parts weg te schrijven. Niet direct gerelateerd aan de refactor.

Ja, dat is wel handig, en ik twijfel ook nog naar de omzetting naar jsonl, of dat we gewoon de ruwe response hier neerzetten. Misschien deze eerste lake stap nog wat omgooien, en iets robuuster maken, en tegelijkertijd iets minder omzettingen van formats, dat past in staging stap.

@luuk.oudehampsink wrote in https://code.overheid.nl/GemAlmelo/DataplatformTwente/pulls/21#issuecomment-3706: > Had nog een issue met ophalen van de BAG Extract, maar dit is verwacht ik een memory issue. Denk eerder dat dit een refactor moet zijn om chunked zips op te halen, temp/parts weg te schrijven. Niet direct gerelateerd aan de refactor. Ja, dat is wel handig, en ik twijfel ook nog naar de omzetting naar jsonl, of dat we gewoon de ruwe response hier neerzetten. Misschien deze eerste lake stap nog wat omgooien, en iets robuuster maken, en tegelijkertijd iets minder omzettingen van formats, dat past in staging stap.
luuk.oudehampsink commented 2026-09-07 15:17:35 +00:00
Owner
Copy link

Heb nog even getest met PDOK BAG. Die is volledig doorgelopen met een kleine fix en PSA model aanpassing (niet gecommit).

Wat ik nog wel wil voorstellen maar een nieuwe feature moet worden is dat de SQL Mesh modellen configureerbare parameters kan gebruiken. Zodat je dus je database en schema kunt aangeven in het model.

Zie https://sqlmesh.readthedocs.io/en/stable/reference/configuration/#variables en https://sqlmesh.readthedocs.io/en/stable/concepts/macros/jinja_macros/

Heb nog even getest met PDOK BAG. Die is volledig doorgelopen met een kleine fix en PSA model aanpassing (niet gecommit). Wat ik nog wel wil voorstellen maar een nieuwe feature moet worden is dat de SQL Mesh modellen configureerbare parameters kan gebruiken. Zodat je dus je database en schema kunt aangeven in het model. Zie https://sqlmesh.readthedocs.io/en/stable/reference/configuration/#variables en https://sqlmesh.readthedocs.io/en/stable/concepts/macros/jinja_macros/
Sign in to join this conversation.
Reviewers
No reviewers
hein.heuver
luuk.oudehampsink
Labels
Clear labels
No items
No labels
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
GemAlmelo/DataplatformTwente!21
No description provided.