Retry flaky release-scripts CI job under concurrent load #147

Merged

robbertbos merged 1 commit from fix-flaky-release-scripts-ci into main 2026-07-21 06:10:37 +00:00

Conversation 0 Commits 1 Files changed 2 +16 -1

robbertbos commented 2026-07-21 05:25:15 +00:00

Owner

Copy link

Probleem

De CI release-scripts-job faalde intermitterend op de capacity=2-runner (#137), terwijl bash test-release-scripts.sh lokaal groen was tegen exact dezelfde heads. Dezelfde SHA slaagde én faalde (0ff03ce8, a4dbf3e4, e8dd7c1a).

Root cause

Duur-analyse via de tasks-API: alle failures duren 9-11s, identiek aan geslaagde runs (~10s). Een gecrashte checkout zou vroeg falen - de job draaide dus volledig en gaf dán exit 1. De web-UI-log bevestigde de falende check:

ok   - changelog finds v2026.5.18      <- exit-code check: exit 0
FAIL - v2026.5.18 section is empty     <- zelfde aanroep, ms later: lege output

Twee aanroepen van het deterministische changelog-section.sh (zelfde arg, zelfde CHANGELOG.md) geven binnen één run verschillende output. Dat is een transient contentie-fout in de teststap (gedeelde-workspace-race of awk gekild onder geheugendruk - beide worden hetzelfde opgelost), geen logica-bug. Zelfde klasse als de e2e-poortbotsing op deze host-networked runner.

Fix

• .forgejo/workflows/ci.yml: de teststap draait in een 3x retry-loop en dumpt de CHANGELOG-staat (wc -l + eerste regel) op een gefaalde poging. Nul overhead bij succes; bij persistente fout nog steeds rood. De diagnostiek maakt een volgende failure te duiden zonder de auth-gated runner-logs.
• CHANGELOG.md: regel onder "Onder de motorkap".

Closes #137

## Probleem De CI `release-scripts`-job faalde intermitterend op de `capacity=2`-runner (#137), terwijl `bash test-release-scripts.sh` lokaal groen was tegen exact dezelfde heads. Dezelfde SHA slaagde én faalde (0ff03ce8, a4dbf3e4, e8dd7c1a). ## Root cause Duur-analyse via de tasks-API: alle failures duren 9-11s, identiek aan geslaagde runs (~10s). Een gecrashte checkout zou vroeg falen - de job draaide dus volledig en gaf dán exit 1. De web-UI-log bevestigde de falende check: ``` ok - changelog finds v2026.5.18 <- exit-code check: exit 0 FAIL - v2026.5.18 section is empty <- zelfde aanroep, ms later: lege output ``` Twee aanroepen van het deterministische `changelog-section.sh` (zelfde arg, zelfde CHANGELOG.md) geven binnen één run verschillende output. Dat is een transient contentie-fout in de teststap (gedeelde-workspace-race of awk gekild onder geheugendruk - beide worden hetzelfde opgelost), geen logica-bug. Zelfde klasse als de e2e-poortbotsing op deze host-networked runner. ## Fix - `.forgejo/workflows/ci.yml`: de teststap draait in een 3x retry-loop en dumpt de CHANGELOG-staat (`wc -l` + eerste regel) op een gefaalde poging. Nul overhead bij succes; bij persistente fout nog steeds rood. De diagnostiek maakt een volgende failure te duiden zonder de auth-gated runner-logs. - `CHANGELOG.md`: regel onder "Onder de motorkap". Closes #137

robbertbos added 1 commit 2026-07-21 05:25:15 +00:00

Retry flaky release-scripts CI job under concurrent load ... c44201726e

The CI release-scripts job failed intermittently on the capacity=2 runner
while `bash test-release-scripts.sh` was green locally against the exact same
heads. The job also ran to full duration (~10s, identical to passing runs),
ruling out an early checkout crash.

Root cause: under concurrent load changelog-section.sh intermittently returns
an empty section for an existing tag - two calls to the same deterministic
script (same arg, same CHANGELOG.md) yield different output within one run.
That is a transient contention fault in the test step (shared-workspace race
or awk killed under memory pressure, both fixed the same way), not a logic bug.
Same class as the e2e port collision on this host-networked runner.

Wrap the test step in a 3x retry loop and dump the CHANGELOG state on a failed
attempt, so a real regression stays distinguishable from the flake and the next
failure is diagnosable without the auth-gated runner logs.

Closes #137

robbertbos force-pushed fix-flaky-release-scripts-ci from c44201726e to 5f608bf1e4 2026-07-21 05:26:18 +00:00 Compare

robbertbos referenced this pull request 2026-07-21 05:26:43 +00:00

CI: release-scripts-job is flaky op de runner #137

robbertbos force-pushed fix-flaky-release-scripts-ci from 5f608bf1e4 to f6ef6d9766 2026-07-21 05:45:29 +00:00 Compare

robbertbos force-pushed fix-flaky-release-scripts-ci from f6ef6d9766 to 046d0e49d1 2026-07-21 05:45:44 +00:00 Compare

robbertbos merged commit 046d0e49d1 into main 2026-07-21 06:10:37 +00:00

robbertbos deleted branch fix-flaky-release-scripts-ci 2026-07-21 06:10:37 +00:00

Sign in to join this conversation.

Reviewers

No reviewers

Labels

Clear labels

No items

No labels

Milestone

Clear milestone

No items

No milestone

Projects

Clear projects

No items

No project

Assignees

Clear assignees

No assignees

1 participant

Notifications

Subscribe

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

robbertbos/waggle!147

No description provided.