De meeste leveranciers van laksoftware noemen tijdwinst, maar zeggen niet hoe ze die meten. Wij laten zien wat we meten, waarop, en waar de meting ophoudt.
Waarop we meten
Een generator maakt Woo-achtige stukken (brieven, mails, verslagen, besluiten, klachtformulieren, scans) met verzonnen personen en een gouden standaard: van elk stuk weten we precies wat gelakt moet worden. Er zitten bewust lastige gevallen in: namen die over een regel zijn afgebroken, namen in hoofdletters of met een initiaal, een achternaam die alleen na "Geachte mevrouw" staat, wethouders die zichtbaar moeten blijven, en scans die door tekstherkenning gaan.
Er zitten geen echte persoonsgegevens in, en ook geen echte dossiers. Dat is een bewuste keuze: echte dossiers komen niet in onze ontwikkelomgeving.
Wat we meten
- Gelakt of voorgelegd: welk deel van wat gelakt moet worden, lakt de software zelf of legt hij aan een mens voor. Wat hier ontbreekt, is stil gemist.
- Zelf gelakt: welk deel de software zonder mens lakt.
- Precisie: hoeveel van de automatische lakken terecht zijn.
- Reviewlast: welk deel van de vondsten bij een mens komt.
- Lekken: gelakte waarden die na het lakken nog in de export staan, als een beoordelaar alle voorstellen accepteert.
Uitkomsten (oktober 2026)
Met het taalmodel (Gemma 4 12B, lokaal), op 30 documenten waarvan 9 scans:
- Namen gelakt of voorgelegd: 100%
- Namen zelf gelakt: 96,2%
- Identificatoren (BSN, IBAN, e-mail, telefoon) gelakt of voorgelegd: 100%
- Precisie van de automatische lakken: 99,7%
- Reviewlast: 1,2% van de vondsten, gemiddeld 0,1 voorstel per document
- Wethouders onterecht gelakt: 0%
- Lekken na lakken: 0
Zonder het taalmodel, op een grotere set van 300 documenten waarvan 67 scans: 99,0% van de namen gelakt of voorgelegd, 60% zelf gelakt, precisie 99,9%, 0 lekken.
Een synthetisch rapport van 200 pagina's, vooral tabellen, was met het taalmodel in 6,5 minuten doorzocht, op een laptop (MacBook Pro M3 Pro). In productie draait het taalmodel op een eigen server.
Waar de meting ophoudt
- Synthetisch is netter dan echt. Zinsbouw en opmaak zijn regelmatiger dan in echte stukken. Verwacht op echte dossiers lagere cijfers, vooral voor namen.
- Zonder taalmodel mist hij soms een naam. Zonder de taalmodellaag werd 1% van de namen stil gemist, vooral onbekende voornamen. Daarom is het taalmodel een vast onderdeel.
- Scans blijven lastig. In één scan las de tekstherkenning een IBAN met een extra teken; het nummer kwam bij een mens terecht, maar het begin bleef staan. Op scans gaat daarom elk nummer van 8 tot 10 cijfers naar beoordeling.
- Beeld. Pasfoto's en tekst in afbeeldingen worden nog niet herkend.
- Tijd van de mens. Hoeveel tijd een behandelaar bespaart, hebben we nog niet gemeten. Dat doen we met de eerste organisaties, op hun eigen dossiers en onder een verwerkersovereenkomst.
Zelf meten
Wil je de software vergelijken met je huidige werkwijze? Haal in de proef een dossier door Streep erdoor dat je al eerder hebt gelakt, en vergelijk: wat moest je zelf nog nakijken, en wat had je gemist? Wil je dat met ons samen doen op een groter dossier, neem contact op.