Archiefweb Market Intelligence

Klant	Oordeel	Toelichting	Frequentie

Quality Review

Archiefweb.eu — Decentrale overheid

Actieve sites Nieuwe starts Gestopt

Sitearchief.nl — Rijksoverheid

Actieve sites Nieuwe starts Gestopt

Klant	Platform	Titel	Account	Status	Archief

Architectuur & Pipeline

Hoe de data-enrichment en quality check pipelines werken

Enrichment Pipeline

Elke client wordt periodiek verrijkt via een Laravel Horizon queue. Per client draait update_client.py dat alle data ophaalt en berekent.

1. Sitesettings

Title, URLs, subsites, gateways, datecreated

2. Versions (URL)

Snapshot count, first/last snapshot, crawls/maand

3. Versions (global)

Corrigeert last_snapshot bij URL-redirects

4. Subsites

Per subsite: snapshots, frequency, gateway

5. Berekeningen

Frequency, active, duration_years, source

Quality Check Pipeline

Per client+subsites draait een batch quality checks. Playwright maakt een screenshot, Haiku AI classificeert en scoort de kwaliteit.

1. Screenshot

Playwright opent archief-URL, wacht op content, maakt PNG

2. DOM analyse

Text length, CSS/JS count, images, failed resources

3. Haiku AI

Classificatie (RENDERED/BLANK/ERROR/BLOCKED) + kwaliteitsscores

4. Status

good, degraded, broken, blocked, empty

5. Breakpoint

Bij broken/degraded: binary search naar breekpunt

Python

update_client.py

Unified enrichment script. Verrijkt één client volledig: sitesettings, versions, subsites, computed fields.

python3 tools/update_client.py afm

python3 tools/update_client.py afm --json --timeout 300

python3 tools/update_client.py --all --source archiefweb

Exit codes: 0=success, 1=error, 2=timeout

Node.js

quality-check.js

Playwright-based quality checker. Maakt screenshots, analyseert DOM-structuur en tracked gefaalde resources per archief-URL.

node tools/quality-check.js --prefix afm --source archiefweb --json

node tools/quality-check.js --prefix afm --subsite sub1 --json

node tools/quality-check.js --all --source archiefweb --limit 10

Screenshot: base64-encoded PNG van de gearchiveerde pagina
DOM stats: text length, CSS/JS count, images, content height, links, forms
Resources: gefaalde requests met URL, status, first-party flag, type (CSS/JS/image/font)
Console errors: aantal JavaScript-fouten in de pagina

Python

breakpoint_finder.py

Binary search om te vinden wanneer een gearchiveerde site kapotging. Doorzoekt gateway CDX-timestamps via HTTP (geen browser nodig).

python3 tools/breakpoint_finder.py --prefix afm --source archiefweb --json

python3 tools/breakpoint_finder.py --prefix afm --subsite sub1 --json

not-broken: nieuwste snapshot is in orde
found: breekpunt gevonden met datum-range en aantal dagen kapot
always-broken: oudste snapshot was al kapot

Draait automatisch na een broken of degraded quality check

Python

lib.py

Shared helpers voor alle Python tools. Voorkomt code-duplicatie.

HTTP: fetch_json, fetch_text met retries en rate limiting (4s per host)
Gateway: fetch_gateway_range voor PyWB CDX en OpenWayback queries
Dates: ts_to_date, epoch_ms_to_date
Berekeningen: calc_crawls_per_month, freq_label, is_active, calc_duration_years
Data I/O: load_data, save_data, find_client
Proxy: ondersteunt ARCHIEFWEB_PROXY env var

Python

validate.py

Schema-validatie voor data.json en data-sitearchief.json.

python3 tools/validate.py

python3 tools/validate.py --fix

Required fields, types, date formats
first_snapshot ≤ last_snapshot
frequency matcht crawls_per_month thresholds
--fix backfill ontbrekende velden

Laravel

Queue & Jobs

Laravel Horizon verwerkt enrichment en quality jobs via Redis queues.

UpdateClientJob (enrichment queue): roept update_client.py aan, parsed JSON, upsert naar DB. Retry 3x (10m, 30m, 60m)
QualityCheckJob (quality queue): roept quality-check.js aan, stuurt screenshot naar Haiku AI voor classificatie + scores, slaat resultaat op. Retry 2x (5m, 15m). Bij broken/degraded: draait breakpoint_finder.py
aw:enrich: plant enrichment jobs in, --spread=N verdeelt over N dagen
aw:quality-check: plant quality jobs in als batches (1 per client + subsites)
aw:import: importeert data.json naar database

Datamodel

Bronnen

archiefweb.eu: ~478 clients met volledige subsite metrics
sitearchief.nl: ~87 clients, subsite metrics zijn null (API-beperking)

API endpoints

GET /api/data.json

GET /api/data-sitearchief.json

GET /api/client/{prefix}

Frequentie-classificatie

Gebaseerd op crawls per maand (gemiddelde over recente 2 jaar):

Dagelijks

≥ 20/maand

Wekelijks

≥ 3.5/maand

Maandelijks

≥ 0.8/maand

Jaarlijks

< 0.8/maand