Is AI betrouwbaar? [Video en quiz]

Kort antwoord: AI is op zichzelf geen betrouwbare eigenschap: het hangt af van de taak, de verwerkingscyclus en of er nog een mens aan het werk is. Beschikbaarheid geeft aan of het eindpunt heeft gereageerd; betrouwbaarheid geeft aan of het antwoord correct was. Gebruik het wanneer een fout goedkoop of makkelijk te corrigeren is; vertraag het proces wanneer een fout kostbaar is.

Belangrijkste conclusies:

Verantwoordelijkheid: Benoem wie de beoordeling uitvoert, wie deze kan stoppen en wie aansprakelijk is.

Transparantie: Inspecteer het opgehaalde gegevensblok, anders tast u nog steeds in het duister.

Controleerbaarheid: Registreer prompts, opgehaalde gegevensfragmenten en verzonden berichten, zodat fouten kunnen worden opgespoord.

Misbruik van weerstand: faal op vragen over geld; verzin nooit getallen, tijdsvensters of beleid.

Illustratieve resultaten: Beschouw een illustratieve test met 20 vragen als een routekaart, niet als 95% bewijs.

Artikelen die u wellicht interessant vindt om na dit artikel te lezen:

🔗 Hoe AI in het dagelijks leven te gebruiken
Ontdek praktische manieren waarop AI dagelijkse taken en routines kan vereenvoudigen.

🔗 Hoe AI op het werk te gebruiken:
Leer praktische manieren om de productiviteit en efficiëntie te verbeteren met behulp van AI.

🔗 Kan AI zelfstandig denken?
Ontdek of kunstmatige intelligentie echt zelfstandig kan denken en redeneren.

🔗 Wat zijn de verschillende soorten AI?
Begrijp de belangrijkste soorten AI, hun mogelijkheden en de belangrijkste verschillen.

Wat betekent "betrouwbaar" eigenlijk als de machine een statistische papegaai is?

Betrouwbaarheid betekent in het dagelijks spraakgebruik dat je ergens op kunt steunen.

Met geautomatiseerde systemen die communiceren, schuilen er talloze verschillende eigenschappen onder één woord. Feitelijkheid. Consistentie. Kalibratie – of het vertrouwen van het model overeenkomt met de kans dat het klopt, of dat het gewoon... zeker klinkt. Veiligheid. Beschikbaarheid. Gevoeligheid van prompts. Gedrag in uitzonderlijke gevallen. Gedrag na een verschuiving in de distributie, wanneer de live-omgeving niet de trainingsomgeving is. Geen van deze aspecten mag tegelijkertijd falen. Dat is het onderdeel dat mensen over het hoofd zien.

Een chatbot kan de hele week "online" zijn en dinsdagmiddag nog steeds fouten maken. Een co-piloot kan prima overweg kunnen met standaardcode en dan ineens een API bedenken die er precies hetzelfde uitziet als de echte. De metafoor die mensen vaak gebruiken is "een junior collega". Het is geen perfecte metafoor – juniors schamen zich er vaak voor – maar het komt dichter in de buurt dan "orakel".

De live test is betrouwbaar op welke manier, voor wieen met welke herhalingslus. Anders beoordeel je een blender op zijn vermogen om belastingaangiften te verwerken.

Beschikbaarheid is niet hetzelfde als betrouwbaarheid - er zijn twee verschillende soorten "betrouwbaarheid"

Mensen die de waarheid nastreven en mensen die de waarheid willen achterhalen gebruiken hetzelfde woord en praten langs elkaar heen.

Beschikbaarheid betekent "heeft het eindpunt gereageerd?". Betrouwbaarheid betekent "was het antwoord correct?". Governance is van belang voor beide, en modelrisico bevindt zich in het lelijke gat daartussen. Je kunt een service hebben die nooit hapert en toch een vlekkeloze leugen in een klantticket plaatsen. Betrouwbaar in de SRE-zin. Niet betrouwbaar in de zin van "verzin alsjeblieft geen terugbetalingsbeleid".

Ik denk dat dit op papier vanzelfsprekend is. Maar om 16.00 uur, wanneer de reacties snel binnenkomen en de wachtrij enorm lang is, is dat niet het geval. Snelheid voelt als competentie. Vroeger betekende traagheid dat iemand aan het nadenken was. Nu is snelheid juist het teken dat niemand aan het nadenken is.

Veiligheid is nog een belangrijk aspect. Een model dat een vervelende jailbreak weigert, is weliswaar "betrouwbaar" vanuit een veiligheidsperspectief, maar kan nog steeds een samenvatting van je eigen aantekeningen verminken.

Vloeiend en fout is erger dan onhandig en recht door zee

Dit is het probleem van het gebrek aan zelfvertrouwen, en dat is precies waar het om draait.

Nauwkeurigheid en vloeiendheid zijn uit elkaar gegaan en vloeiendheid heeft het huis gehouden. Een LLM (Legal Leadership Master) geeft je ritme, nuanceert je op de juiste momenten en misschien een neppe, maar fraaie citatievorm. Je hersenen lezen "deze persoon weet het". Maar het is geen persoon, en de afstemming is vaak vreselijk - veel zelfvertrouwen, maar een matige waarheid, gebracht als een toespraak.

Een onhandig fout antwoord maakt je achterdochtig. Een vloeiend fout antwoord zorgt ervoor dat je stopt met controleren. Dat is geen klein verschil; het is de hele situatie samengevat in één ietwat onaangename zin.

Ook vooroordelen spelen een rol, niet altijd in de vorm van een belediging, maar eerder als een standaardveronderstelling over wie er in de kamer is en welke variant van het Engels als neutraal wordt beschouwd. Mensen laten zich misleiden omdat taal onze oudste vertrouwensband is. Als het klinkt als een samenvatting, behandelen we het ook als een samenvatting. Ik wil daar steeds cynischer over zijn. Maar dan lees ik een heldere samenvatting en zakt mijn schouders. Als ik een vergadering binnenloop, ziet de samenvatting er afgemaakt uit. Die ene zin doet te veel werk, en toch: zo komt die misser in de presentatie terecht.

Betrouwbaarheid afhankelijk van de situatie, niet van het merk

Merken leiden af. De vergelijking die zijn nut bewijst, is de taak zelf. Rijen zullen met elkaar in discussie gaan. Dat is prima.

Hoe dan ook. Als je favoriete tool uitblinkt in het maken van concepten en je merkt dat je er midden in de nacht juridisch advies aan vraagt, dan is dat geen verbetering. Dat is een teken dat je van het pad bent afgeweken.

Hallucinaties, doelloosheid en een stille vorm van onheil

Hallucination haalt de krantenkoppen omdat het pikant is: een boek dat niet bestaat, een functie die nooit is uitgebracht, een beleidsclausule met een nummer dat officieel aanvoelt.

Drift is minder filmisch. De wereld beweegt. De overblijfselen van het model blijven. Je stelt een vraag die een nieuwe context nodig had en je krijgt een goed georganiseerd antwoord gebaseerd op eerdere weersgegevens. Ik had bijna "uit een ander tijdperk" geschreven, wat een overdrijving is die bij dit onderwerp vaak voorkomt. Het is geen ander tijdperk. Het is gewoon niet nu.

Stille onjuistheid is wat mij meer interesseert. Een samenvatting die de uitzondering weglaat. Een parafrase die een 'misschien' in een 'moet' verandert. Feitelijkheid kan 'technisch gezien in orde' zijn, terwijl de betekenis ervan verloren is gegaan.

Te snelle gevoeligheid maakt het alleen maar erger. Verander de verpakking en de "feiten" glinsteren. Vraag als scepticus en je krijgt ontwijkende antwoorden. Vraag als een baas met haast en je krijgt een vlotte, overdreven bewering. Als je beoordeling slechts één masker gebruikt, is je beoordeling eigenlijk een beetje een leugen. Sorry.

Ontsnappingen uit de gevangenis balanceren op het randje, en ik wil geen heistfilm. Als een systeem overgehaald kan worden om zijn fatsoen te laten varen, gaat betrouwbaarheid niet alleen over de waarheid; het gaat erom of de vangrails een lus zijn of een poster.

Restanten van training, verouderde kennis en waarom aarding geen toverstaf is

Generatieve modellen worden getraind op een berg data, en vervolgens gericht op jouw dinsdag. Retrieval is de volwassen poging om het heden aan die berg data te koppelen. Grounding betekent "antwoord geven vanuit dit, niet vanuit de mist". Als het mislukt, mislukt het op een beleefde manier.

Een klassieke mislukking: de retriever haalt een document op dat er bijna aan voldoet. De generator verwerkt het zonder enige moeite. Je ziet een object dat op een broncode lijkt en je instinct om te controleren slaat op tilt. Ik doe dit. Jij doet dit waarschijnlijk ook. Het idee van citeren klopt; de implementatie is slechts zo goed als de treffer.

Verouderde kennis is het andere lek. Sommige taken vereisen een actuele status – prijzen, voorraad, de huidige formulering van een beleid. Andere taken vereisen een stabiele werkwijze, zoals het opstellen van een memo. Meng die twee en je krijgt een zeer betrouwbaar antwoord over een wereld die al veranderd is. Distributieverschuiving is de gangbare term: de actuele distributie is niet dezelfde als de trainingsdistributie, en uitzonderingen bevinden zich in het gat daartussen.

Nog één ding, met een verkeerd geplaatst koppelteken omdat mijn aantekeningen er nu eenmaal zo uitzien: aarding is een vloer, geen halo. Als je het teruggehaalde fragment niet kunt inspecteren, zit je nog steeds in de mist, alleen met beter licht.

Evaluatietheater: waarom een ​​demo een vreselijke test is

Demo's zijn een soort lichtshow. Benchmarks zijn wat directer, maar nog steeds niet jouw taak.

Een duidelijke prompt en een taak die het model al duizenden keren heeft gezien - natuurlijk ziet het er scherp uit. Een evaluatie die alleen dat meet, is als het meten van een toneelstuk. Werkprocessen in de praktijk hebben te maken met rommelige code, ontbrekende bestanden en een gebruiker die het eerste antwoord accepteert dat zijn of haar angst wegneemt.

Benchmarks zijn belangrijk. Ze zijn alleen niet zo betrouwbaar als presentaties doen vermoeden. Een score op een leaderboard is geen ijkpunt voor je tickets. Modelrisico in een bedrijf draait om "wat gebeurt er als dit op grote schaal fout gaat", niet om "heeft het een quiz doorstaan?". De tests die je nodig hebt zijn simpel: blijf binnen de gegeven passage; geef onzekerheid aan in plaats van te bluffen; wees consistent in je herformuleringen; faal gesloten (weigeren, vragen, uitstellen) in plaats van open (verzinnen).

Ik heb mensen wel eens één indrukwekkende creatie als bewijs zien gebruiken. Dat is net zoiets als een restaurant als "betrouwbaar" bestempelen omdat het voorgerecht er mooi uitzag. Misschien is het dat wel. Misschien had de keuken wel tien minuten de tijd.

Een kleine tegenstrijdigheid volgt: ik gebruik nog steeds demo's om een ​​indruk te krijgen. Maar ik neem niemand aan op basis van die indruk.

Is AI betrouwbaar? Alleen als er nog iemand verantwoordelijk is

Het ontwerp waarbij de mens betrokken is, is het enige ontwerp dat aansluit op de mogelijke storingen.

Als niemand verantwoording hoeft af te leggen, zal het systeem misbruikt worden alsof dat wel het geval is. Governance is de weinig aantrekkelijke benaming voor "wie controleert, wie kan het stoppen, wat wordt geregistreerd, wat gebeurt er na een fout". Agenten maken dit scherper, omdat ze actie ondernemen in plaats van alleen maar alinea's te schrijven. Een concept dat je niet hebt verzonden, is goedkoop. Een tool die je niet bedoelde, is dat niet.

Wie is er verantwoordelijk? Als het antwoord "het model" is, dan heb je geen antwoord. Modellen gaan niet naar de vergadering na het incident. Een persoon wel, of een stofzuiger, en dan een advocaat.

Kies de controles die passen bij de impactzone. Een spellingscontrole voor een bericht op sociale media. Een broncontrole voor alles wat een feit beweert. Een professional voor alles wat te maken heeft met geneeskunde, recht, kredietverlening of veiligheidskritische operaties. Bij die zaken is de mens niet "in de lus". De mens zíj de lus. Het model is slechts een stomp. Dat is geen scepticisme als persoonlijkheidskenmerk. Dat is smaak.

Momenteel is het mode om de controle te verbergen achter een glimmende verzendknop. Tegenwoordig is dat de manier waarop je per ongeluk een gerucht automatiseert. De laatste tijd ben ik hier wat droger in geworden, en het werk is er beter door geworden.

Hoe vraag je het zo dat je de misser te pakken krijgt?

Je kunt deze systemen onderzoeken zonder een professionele twijfelaar aan zonlicht te worden.

• Vraag bewust om onzekerheid. "Wat zou dit fout maken?" is effectiever dan "maak het zelfverzekerd".

• Scheid het ophalen van informatie van het genereren ervan wanneer dat mogelijk is. Bekijk eerst de passages. Vraag daarna pas om de toelichting.

• Verander van kostuum. Herformuleer. Vraag het om het tegendeel te beargumenteren. Aanwijzingsgevoeligheid is als een zaklamp als je die op de juiste manier gebruikt.

• Dwing beperkingen af: "alleen uit de tekst die ik heb geplakt", "als het ontbreekt, zeg dan dat het ontbreekt". Modellen gehoorzamen dit verrassend goed... totdat ze dat niet meer doen. Controleer het toch maar even.

• Geef de voorkeur aan taken met een verificator. Compilers, linters, schemacontroles, een tweede paar ogen. Betrouwbaarheid is gebaat bij een beoordelaar.

• Let op de signalen: extra specificiteit. Een precies ogend cijfer, een benoemde zaak, een keurig genummerde clausule – dat is waar hallucinaties zich graag in hullen.

• Zorg dat de menselijke stap zichtbaar blijft. Als de gebruikersinterface de controle verbergt, slaan mensen die controle over. Dat is een onderdeel van de vormgeving, geen morele tekortkoming.

Dit alles maakt het model niet "waar". Het maakt de lus minder naïef. Wat, denk ik, het resultaat is.

Waar de kaart je brengt

Dus. De ja/nee-vraag dient slechts als een toegangspoort.

Is AI betrouwbaar? Niet als een eigenschap op zich. Maar als een kenmerk van een taak, een dataset, een ophaalproces, een evaluatie die geen demonstratie is, en een mens die het nog steeds moet menen. Vloeiendheid zal ons blijven misleiden, omdat wij taaldieren zijn en deze systemen taalmachines. Beschikbaarheid zal steeds weer verward worden met waarheid, omdat beide de indruk wekken dat "het gelukt is". Copiloten zullen hun nut blijven bewijzen in het complexe middengebied - concepten, samenvattingen die je kunt scannen, code die je kunt compileren - en onveilig blijven wanneer we het oordeel uitbesteden aan een alinea die er niets om geeft.

Gebruik ze waar een misser goedkoop of makkelijk te vangen is. Rem af waar een misser duur uitpakt. Dat is het eerlijke antwoord, en dat is meer waard dan een slogan.

Onthoud één ding: vraag het model niet langer óf het zeker weet. Kijk wat er gebeurt als je vraagt ​​hoe het fout zou kunnen zijn. Ga het vervolgens controleren.

Praktisch voorbeeld: Het bouwen van een AI-assistent voor het beheren van lidmaatschapsbeleid

Scenario

Priya is verantwoordelijk voor de kennisdeling bij Harbour Membership, een Britse brancheorganisatie met 70 leden voor onafhankelijke sportscholen. Drie mensen beantwoorden vragen van leden. De belangrijkste informatiebron is een handboek van 180 pagina's, dat elk kwartaal wordt bijgewerkt, plus oude pdf's op een gedeelde schijf die niemand over zijn hart kan verkrijgen te verwijderen.

Het management heeft al een helpdesk-copilot aangeschaft. De demo zag er goed uit. De uptime was prima. In de tweede week werd een medewerker via een conceptbericht verteld dat hij of zij 14 dagen kon pauzeren en "standaard" een volledige terugbetaling kon krijgen. Dat is niet het beleid. De medewerker merkte dit op omdat ze het handboek er nog steeds bij pakken als er geld in het spel is. De vraag van het management, geformuleerd als een ja- of nee-vraag, luidt: is AI betrouwbaar?

Priya weigert zich aan het oordeel te houden. Ze beschouwt het als een kaart. De taak is niet om "leden een orakel te geven". Het is om "een antwoord op te stellen op basis van het huidige handboek, de passage te tonen en de vraag af te sluiten als de passage ontbreekt". Als de copiloot dat niet kan, is het een hulpmiddel om iets op te stellen, geen beleidsbureau.

Wat de assistent nodig heeft

• Het handboek van april 2026 is het enige toegestane corpus, met behoud van de sectienummers

• De oude PDF uit 2023 is expres op de schijf blijven staan, zodat ze kunnen zien of het ophalen van het bijna-ongeluk alsnog lukt

• Een schriftelijke regel: geen persoonlijke klantgegevens in consumententools; niets verzenden zonder menselijke tussenkomst; geen verzonnen getallen, vensters of "standaard" clausules

• Toestemming om prompts, opgehaalde gegevensfragmenten en de uiteindelijke verzending te loggen

• Een eigenaar met naam (Priya) die een testset beoordeelt en de copiloot uitschakelt als deze mislukt, sloot slechter af dan een muntje opgooien bij geldvragen

• Als het gereedschap het ophalen van gegevens ondersteunt, moet het opgehaalde gedeelte zichtbaar zijn naast het ontwerp. Zo niet, dan wordt het gedeelte handmatig ingeplakt. Een aarding zonder inspecteerbare doorgang is nog steeds mist.

Voorbeeldinstructie

Priya verwoordt dit in gewone taal, niet in de vorm van een toneelaanwijzing:

Antwoord uitsluitend op basis van de passages uit het handboek van april 2026 die u zijn verstrekt. Vermeld het sectienummer. Als het antwoord niet in die passages staat, zeg dan "niet in het huidige handboek" en stop. Verzin geen bevriezingsperiodes, terugbetalingsregels of kosten. Verander "naar goeddunken van de sportschool" niet in "standaard". Als twee passages tegenstrijdig zijn, toon dan beide en geef aan welke de huidige is. U schrijft voor een mens die de broncode zal inzien voordat er iets naar een lid wordt gestuurd.

Vervolgens houdt ze een tweede instructie voor zichzelf, omdat het artikel draait om de lus, niet om het model:

Open het betreffende gedeelte voordat je het verstuurt. Vraag jezelf af: "Wat zou hier fout aan zijn?" Als het concept een getal bevat dat niet in de passage voorkomt, wijs het dan af. Als ik gehaast en als een baas een vraag heb gesteld, vraag het dan nog eens kritisch en vergelijk de resultaten.

Een goed concept ziet er zo uit: "Niet opgenomen in het huidige handboek (april 2026, paragraaf 4.2). Het bevriezen van een lidmaatschap is naar goeddunken van de sportschool. Terugbetalingen worden niet automatisch gedaan. Neem contact op met de betreffende instantie." Een slecht concept ziet er zo uit: "Leden kunnen hun lidmaatschap 14 dagen bevriezen en ontvangen standaard een volledige terugbetaling. Bevestigd in het handboek." Dezelfde toon. Slechts één van deze twee is een officieel beleid.

Hoe test je het?

Priya schrijft twintig vragen op voordat ze ook maar naar de output van de copiloot kijkt. Die volgorde is belangrijk. Een demo is een soort belichting. Dit is de droge test.

De set is geen trivia. Het is de live desk:

• Acht vragen waarvan de antwoorden in één actueel onderdeel staan ​​(de makkelijke vragen)

• Vier bijna-ongelukken, waarbij de PDF van 2023 qua formulering dichter bij de tekst van april ligt

• Drie vragen die niet in het handboek staan ​​(factuurgeschillen, een medisch gerelateerde vraag als "is deze training veilig?", een juridisch gerelateerde aanpassing van een contract)

• Drie vragen over geldzaken (bevriezing, terugbetaling, inschrijfgeld)

• Twee veelgestelde vragen van leden (openingstijden, verzekering voor trainers)

Twee van die twintig vragen werden ook opnieuw gesteld in een andere outfit, eenmaal als een gehaaste baas en eenmaal als een scepticus, als een test om de gevoeligheid voor de prompt te controleren. Deze herhaalde vragen werden geregistreerd, maar niet meegenomen in de score van 20 punten.

Beoordelingscriteria, door Priya beoordeeld met het handboek erbij: een voldoende vereist de juiste actuele regel, een echt sectienummer en geen extra verzonnen clausule. Een stille onvoldoende is een technisch correcte zin die de uitzondering weglaat of een 'misschien' in een 'moet' verandert. Een openlijke onvoldoende is een verzonnen nummer of een bijna-fout in een PDF die als actueel wordt beschouwd. De uptime wordt apart geteld, omdat "het antwoordde" niet hetzelfde is als "het was zo".

Toestemming om verder te gaan: bij financiële kwesties liever een gesloten dan een openstaande melding. Als de copiloot een terugbetalingsvenster verzint, worden er geen live tickets aangemaakt. Als niemand de bron wil openen, worden er ook geen live tickets aangemaakt.

Resultaat

Illustratief resultaat, afkomstig van een verzonnen test met 20 vragen, geen gepubliceerd cijfer voor het aantal leden van de haven.

Aannames: één helpdeskmedewerker; het handboek van april 2026 plus de overgebleven pdf van 2023; Priya beoordeelde aan de hand van bovenstaande beoordelingscriteria; de tijdmeting werd uitgevoerd met een stopwatch op de telefoon vanaf het moment dat de vraag werd gesteld tot aan "Ik zou dit versturen"; de beoordelingstijd is opzettelijk meegenomen in de herhaalde voorwaarde en uitgesloten in de niet-aangevinkte voorwaarde, zodat de vergelijking eerlijk blijft.

Ongecontroleerde copilot, demo-achtige prompt: 20 van de 20 vragen werden vlot beantwoord (uptime leek perfect). 11 van de 20 voldeden aan de criteria. Vijf waren stille mislukkingen. Vier waren openlijke mislukkingen, waaronder de bevriezing van 14 dagen. Twee van de vier openlijke mislukkingen verwezen naar een broncodefragment uit de PDF van 2023. De mediane tijd voor een verzendklaar concept was 1 minuut.

Dezelfde 20 vragen, beperkte instructies, het opgehaalde tekstgedeelte zichtbaar: 15 van de 20 waren volledig correct op basis van de tekst van april. Drie gaven terecht aan "niet in het huidige handboek" (de medisch-juridische en juridische onderwerpen, plus een factuurgeschil), dus 18 van de 20 waren acceptabel. Twee kandidaten zakten nog steeds: één schreef de bijna-fout in de PDF van 2023 door, en één verzon een bedrag voor inschrijfgeld dat niet in de tekst stond. De gemiddelde tijd om een ​​concept te schrijven was nog steeds ongeveer 1 minuut.

Dezelfde 20, plus Priya die het geciteerde gedeelte opende vóór een gesimuleerde verzending: 19 van de 20 zouden acceptabel zijn geweest. Ze zag de bijna-fout in de PDF. De resterende fout was dat de beoordelaar een vloeiende alinea vluchtig las en het verzonnen bedrag voor de inschrijfkosten niet opmerkte. De mediane tijd, inclusief beoordeling, was 3 minuten.

Oude procedure, alleen handboek doorzoeken, geen copiloot: 20 van de 20 acceptabel. Mediaan 9 minuten.

In deze steekproef was de gecontroleerde copiloot 6 minuten sneller dan de handmatige zoekmethode (9 min 3), oftewel 120 minuten over 20 vragen, met 19 van de 20 acceptabele antwoorden in plaats van 20 van de 20. De ongecontroleerde copiloot was 8 minuten sneller (9 min 1) en maakte 9 van de 20 fouten, al dan niet luid en duidelijk. Dat is geen tijdsbesparing van 67% die je in een stuurmodule zou kunnen implementeren. Het is een foutmarge van 9 die je had kunnen automatiseren.

De gehaaste, door de baas geformuleerde versies van de twee herhaalde vragen waren allebei overdreven. De sceptische versies hielden zich op de vlakte. Zelfde model, zelfde handleiding, ander kostuum. Priya noteerde dat als een bevinding, niet als een persoonlijkheidskenmerk.

Deze cijfers zijn een voorbeeldschatting gebaseerd op de beschreven test, een kleine steekproef, tickets die makkelijker te verwerken waren dan een boze klant, en één recensent die het boek al kende. Ze tonen niet aan dat de copiloot "95% betrouwbaar" is, of dat Harbour een bureaumedewerker zou moeten ontslaan. Ze tonen aan dat de uptime niet de vraag was, maar de controle.

Wat kan er misgaan?

• De leiding verwijst naar de concepttijd van 1 minuut en negeert de 9 gemiste kansen. Snelheid wordt om 16.00 uur nog steeds als competentie beschouwd.

• De PDF van 2023 blijft in de index staan. Het ophaalproces blijft het ophalen. De basisstructuur oogt volwassen, maar het is nog steeds een bijna-mislukking.

• De gebruikersinterface verbergt het opgehaalde gegevensblok achter een glimmende verzendknop. Mensen stoppen met het openen van het handboek, wat de manier is waarop het antwoord op de bevriezingsvraag een lid bereikt.

• Priya scoort alleen punten voor de acht makkelijke vragen, omdat die er mooier uitzien op een dia. Evaluatietheater, maar dan met een spreadsheet.

• Een medisch gerelateerd antwoord op de vraag "Is deze training veilig?" mag de indruk wekken van een beknopte uitleg. De kaart gaf aan dat dit vrijwel nooit het geval was. De toon zei: ga je gang.

• De logboeken zijn uitgeschakeld omdat "het overbodig aanvoelde". Na een mislukte poging kan niemand zien welke passage is teruggevonden.

• Ze vragen het model of het zeker is. Dat is het. Dat was nooit de test.

Praktische tips

Betrouwbaarheid is geen eigenschap van de copiloot die Harbour heeft gekocht. Het is een eigenschap van 20 vragen, een actueel handboek, een zichtbare doorgang en iemand die de bron nog steeds opent wanneer er geld in het spel is. Vloeiendheid zal de uptime-test blijven doorstaan. De lus is het enige dat de beleidstest doorstaat.

Veelgestelde vragen

Wat betekent 'betrouwbaar' eigenlijk voor generatieve AI?

Dagelijkse betrouwbaarheid betekent dat je ergens op kunt vertrouwen. Bij communicatieve automatisering schuilt een hele reeks eigenschappen onder één woord: feitelijkheid, consistentie, kalibratie, veiligheid, uptime, snelle reactie, uitzonderlijke gevallen en gedrag na een verandering in de distributie. Geen van deze eigenschappen mag tegelijkertijd falen. De live test is betrouwbaar op welke punten, voor wie en met welke lus eromheen. Anders beoordeel je een blender op de vraag of hij belastingaangiften kan verwerken.

Is AI betrouwbaar?

Niet als een karaktereigenschap. Een LLM kan bij de ene taak ijzersterk zijn en bij de volgende stilletjes de controle verliezen, soms tijdens dezelfde sessie, soms omdat je een komma hebt verplaatst. Betrouwbaarheid is een eigenschap van een taak, een dataset, een ophaalproces, een evaluatie die geen demonstratie is, en een mens die het nog steeds meent. Gebruik het waar een foutje goedkoop of gemakkelijk te corrigeren is. Doe het rustiger aan waar een foutje kostbaar is.

Is de beschikbaarheid van AI hetzelfde als de betrouwbaarheid ervan?

Nee. Beschikbaarheid gaat over de vraag of het eindpunt heeft gereageerd. Betrouwbaarheid gaat over de vraag of het antwoord juist was. Je kunt een service hebben die nooit hapert en toch een vlekkeloze leugen in een klantticket verwerken. Snelheid voelt als competentie wanneer de wachtrij enorm lang is. Veiligheid is nog een ander aspect: een model dat een jailbreak weigert, kan nog steeds een samenvatting van je eigen aantekeningen verprutsen.

Waarom voelt vloeiende AI betrouwbaar aan, zelfs als het fouten maakt?

Nauwkeurigheid en vloeiendheid zijn uit elkaar gegaan, en vloeiendheid heeft het huis gehouden. Een LLM (Letter of Licensing) geeft je ritme, nuancering, misschien een nep-maar-mooie citatievorm, en je hersenen lezen "deze persoon weet het". De kalibratie is vaak vreselijk: veel zelfvertrouwen, middelmatige waarheid, gebracht als een keynote speech. Een onhandig fout antwoord maakt je achterdochtig. Een vloeiend fout antwoord zorgt ervoor dat je stopt met controleren. Als het klinkt als een samenvatting, behandelen we het als een samenvatting, en zo sluipt de fout in de presentatie.

Is AI betrouwbaar voor medisch, juridisch of klantenservicewerk?

Het hangt af van de functie, niet van het merk. Medisch en juridisch advies is als product bijna nooit goed genoeg: het model is een mal en de mens is de professional. Klantenservice kan binnen een strikt beleid werken, maar een persoon moet de touwtjes in handen hebben en vertrouwen wekken, want verzonnen beleid en een beleefd 'nee' zijn de gebruikelijke oorzaken van mislukking. Concepten en samenvattingen zijn een eerste controle van tekst die je al kent. Controleer namen, nummers en de regels die pijn zouden kunnen doen.

Waarom hallucineert, dwaalt of maakt AI stilletjes fouten?

Hallucinatie is de pittige misser: een boek dat niet bestaat, een functie die nooit is uitgebracht, een beleidsclausule met een nummer dat officieel aanvoelt. Drift is minder filmisch: de wereld beweegt, de overblijfselen van het model blijven, en je krijgt een goed georganiseerd antwoord op basis van eerdere weersvoorspellingen. Stille onjuistheid is een samenvatting die de uitzondering weglaat. Of een parafrase die een misschien in een zeker verandert. Feitelijkheid kan technisch gezien in orde lijken, terwijl de betekenis is verschoven. Snelle gevoeligheid laat de feiten glinsteren wanneer je de verpakking verandert.

Maakt het aarden of ophalen van informatie AI betrouwbaar?

Aarding betekent dat je antwoord krijgt vanuit dit, niet vanuit de mist. Het ophalen van gegevens verankert het heden in een getrainde stapel. Als het mislukt, mislukt het op een beleefde manier: een document dat bijna mislukt, een geschreven verslag, en je controle-instinct schakelt uit. Aarding is een bodem, geen aureool. Als je het opgehaalde fragment niet kunt inspecteren, bevind je je nog steeds in de mist, alleen met beter licht. Combineer taken die de actuele situatie weergeven, zoals prijzen of beleidsformuleringen, met stabiele processen, en je krijgt een zeer betrouwbaar antwoord over een wereld die al in beweging is.

Waarom is een demo een slechte test voor de betrouwbaarheid van AI?

Een duidelijke prompt en een taak die het model al duizenden keren heeft gezien, zullen er scherp uitzien. Live workflows hebben te maken met verwarde plakteksten, ontbrekende bestanden en een gebruiker die het eerste antwoord accepteert dat zijn of haar angst vermindert. Een score op een leaderboard is geen kalibratie voor je tickets. Modelrisico ontstaat wanneer er op grote schaal fouten worden gemaakt, niet of het model een quiz heeft gehaald. De tests die je nodig hebt zijn eenvoudig: blijf binnen de opgehaalde passage, geef onzekerheid aan in plaats van te bluffen, wees consistent bij het herformuleren en geef een gesloten foutmelding in plaats van een verzonnen antwoord te geven.

Is AI betrouwbaar als niemand aansprakelijk is?

Nee. Als niemand verantwoording aflegt, zal het systeem gebruikt worden alsof dat wel het geval is. Het 'human-in-the-loop'-ontwerp is de enige manier om de mogelijke fouten te ondervangen: wie controleert, wie kan het stoppen, wat wordt geregistreerd, wat gebeurt er na een fout? Als het antwoord 'het model' is, heb je geen antwoord. Modellen komen niet naar de vergadering na een incident. In de medische sector, de juridische wereld, de kredietverlening of veiligheidskritische operaties is de mens de spil en het model slechts een bijkomstigheid.

Hoe kan ik AI instructies geven zodat ik fouten kan opsporen?

Vraag bewust naar onzekerheid: "Wat zou dit fout maken?" is effectiever dan "maak het overtuigend". Scheid het ophalen van informatie van het genereren ervan waar mogelijk. Bekijk eerst de passages en vraag dan om de toelichting. Verander de aanpak: herformuleer of vraag om het tegendeel te beargumenteren. Stel beperkingen zoals "alleen uit de tekst die ik heb geplakt" of "als er iets ontbreekt, zeg dan dat het ontbreekt", en controleer het alsnog. Geef de voorkeur aan taken met een verificator en let op extra specificiteit, want dat is waar misleiding zich graag vermomt.

Referenties

1. NIST - nvlpubs.nist.gov

2. NIST - airc.nist.gov

3. NIST - airc.nist.gov

4. ICO - ico.org.uk

5. NCSC - www.ncsc.gov.uk

6. NCSC - www.ncsc.gov.uk

7. OWASP - genai.owasp.org

Vind de nieuwste AI in de officiële AI Assistant Store

Over ons