Ingest-architectuur — overzicht
De FRBR-tabellen zijn de doelvorm. De ingest-architectuur beschrijft hoe data uit de verschillende bron-systemen in die doelvorm terechtkomt.
Vier hoofdbronnen
Vier bronnen leveren het overgrote merendeel van wat Beleidsscan verwerkt:
| Bron | Kanaal | FRBR-projectie |
|---|---|---|
| DSO / Ozon | STOP-IMOP via Presenteren API | Instrumenten + versies; article-content in dso_artikel via pointer-method |
| OB (officiëlebekendmakingen.nl) | SRU + body XML | Publicaties (decision-stack Manifestation) + handelingen-junction |
| Rechtspraak | data.rechtspraak.nl + uitspraken zoek-API | Uitspraak-stack |
| Wetgeving (BWBR) | KOOP SRU | Instrumenten + versies; article-content in public.law_articles (toestand-bucketed) |
Plus een lange staart aan gemeentelijke beleidsdocumenten en raadsinformatie, gerouteerd via gemeente-websites, RIS / NotuBiz / iBabs, en Common Crawl.
Drie ingest-principes
1. Ingestion-Enrichment Split (ADR-0011). De ingest-hot-path is goedkoop, deterministisch, en bewerkt geen content met LLMs. Enrichment (KG-extractie, judicial-effects, classificatie) loopt achter de boundary, async, idempotent. Geen LLM op de hot path.
2. Pointer-method discipline. instrument_versions.content_refs is de enige cross-source abstractie. Article-content blijft in bron-specifieke satellieten. Zie pointer-method.
3. Dual-write tijdens migratie. Tijdens Stage 2-3 schrijft élke ingest zowel naar de legacy canonical.documents als naar de FRBR-tabellen. Wanneer Phase 4 stable is, sluit dual-write af.
Sub-pagina's
- DSO / Ozon ingest — de meest architecturaal-consequente bron; tien open ontwerp-vragen + de design surface
- OB extraction — 7-stage plan voor body-content uit officielebekendmakingen.nl
Onderliggende ADRs en docs
- ADR-0011 — Ingestion-Enrichment Split
- ADR-0025 — DSO STOP-TPOD coverage
- ADR-0026 — DSO content_refs
- ADR-0027 — DSO
artikelbitemporal - ADR-0028 — DSO CRS (EPSG:28992 opslag, WGS84 serve)
docs/handoffs/2026-05-05-dso-ozon-problem-statement.md— DSO ingest design-vragenproject_ob_extraction.md(memory) — OB extraction research v0