GemAlmelo/DataplatformTwente
18
5
Fork 0
Code Issues 9 Pull requests Projects Releases Packages 1 Wiki Activity Actions

Ombouw naar DLT filesystem + S3 voor lake en staging. #13

Merged
tjarkvandemerwe merged 7 commits from dlt into main 2026-08-17 14:44:13 +00:00
Conversation 2 Commits 7 Files changed 20 +545 -193
luuk.oudehampsink commented 2026-08-12 14:20:56 +00:00
Owner
Copy link

DLT Pipeline wordt nu gebruikt om de lake te vullen voor local en s3.
Via configuratie yml kun je nu local of s3 aangeven voor de lake.

DLT Pipeline wordt nu gebruikt om de lake te vullen voor local en s3. Via configuratie yml kun je nu local of s3 aangeven voor de lake.
tjarkvandemerwe commented 2026-08-17 13:07:26 +00:00
Owner
Copy link

Mooi gedaan! Ik haal de config voor local vs s3 naar het niveau van het project ipv per source, volgens mij wil je of alle bronnen in s3 opslaan, of alle bronnen als lokale duckdb's.

Mooi gedaan! Ik haal de config voor local vs s3 naar het niveau van het project ipv per source, volgens mij wil je of alle bronnen in s3 opslaan, of alle bronnen als lokale duckdb's.
tjarkvandemerwe commented 2026-08-17 14:16:00 +00:00
Owner
Copy link

Werkt nu, op dit moment werkt alleen de is up to date functie nog niet met de s3 storage. Hij download bij mij iedere keer de CBS gebiedsindelingen dataset opnieuw.

Werkt nu, op dit moment werkt alleen de is up to date functie nog niet met de s3 storage. Hij download bij mij iedere keer de CBS gebiedsindelingen dataset opnieuw.
Sign in to join this conversation.
Reviewers
No reviewers
Labels
Clear labels
No items
No labels
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
tjarkvandemerwe
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
GemAlmelo/DataplatformTwente!13
No description provided.