Het is het gesprek van de dag onder juristen: het AI-programma ChatGPT is voor het eerst als bron genoemd in een uitspraak door een Nederlandse rechter. Zo vatte het FD de ophef van de dag (van vorige week samen). In een vonnis over rendementsverlies van zonnepanelen schatte de rechter de gemiddelde levensduur van zonnepanelen uit 2009 met behulp van ChatGPT.
Een keer moet de eerste keer zijn, en op zich is dit niet héél spannend. Het ging niet om een feitenonderzoek of het opbouwen van een juridische redenering (dit zou een hoogrisico-toepassing onder de AI Act zijn), maar om het achterhalen van een schatting. Om precies te zijn:
De kantonrechter schat, mede met behulp van ChatGPT, de gemiddelde levensduur van zonnepanelen uit 2009 op 25 à 30 jaar; die levensduur wordt daarom hier op 27,5 jaar gesteld.Dit is nodig om het rendementsverlies over de resterende levensduur te kunnen berekenen. Dat is verder niet zo belangrijk, waar het hier om gaat is: kun je ChatGPT voor zo’n feitenonderzoek inzetten?
Enerzijds: we weten allemaal dat dit soort grote taalmodellen nog geen feit zou herkennen als het zichzelf paars had geverfd en naakt zou dansen op een klavecimbel. Het systeem genereert een stelsel van woorden op basis van waarschijnlijkheden, en dat is het. Geen redeneerregels, geen rekencapaciteit en geen besef van concepten. Na ‘gemiddelde’ komt vaak ‘levensduur’ en na ‘levensduur’ komt vrijwel altijd ‘van’.
Anderzijds: die waarschijnlijkheden komen niet uit de lucht vallen maar zijn gebaseerd wat Mensen Op Het Internet allemaal vinden. Je zou dan dus kunnen zeggen, de uitvoer van ChatGPT is grofweg de consensus over hoe je iets zegt, dit is gemiddeld wat men vindt. En op internet zégt iedereen dat de gemiddelde levensduur van zonnepanelen 25 à 30 jaar is, dus dat zal dan wel de consensus zijn.
Waarom deed de rechter dit eigenlijk? De eiser had een “moeilijk volgbare eigen berekening in de dagvaarding opgenomen” over wat de schade is (onder meer iets met gemiste subsidie). Wat de gedaagde aan schade had geschat zie ik niet terug. Het had mij dan logisch geleken om te zeggen, de schade is niet goed onderbouwd dus niet aangetoond, maar mogelijk dat de rechter dat te cru vond.
Echter, al in 2011 bepaalde de Hoge Raad dat rechters niet mogen googelen:
[de rechter mag geen] eigener beweging verkregen feitelijke gegevens aan zijn beslissing ten grondslag mag leggen zonder partijen in de gelegenheid te stellen daarvan kennis te nemen en zich daarover desgewenst uit te laten.
Arnoud
Probleem is alleen dat je niet kunt zien of cgpt heel veel verkoop praat heeft gescanned of dat daar ook gefundeerde stukken tekst zijn gebruikt.
Dat klopt. Maar als “iedereen” de verkooppraat napraat, is het dan niet vanzelf algemeen bekend geworden dat het zo is? Zoals ook laptops “drie jaar meegaan” omdat in een grijs verleden de Belastingdienst dat getal riep als redelijke afschrijfperiode en nu iedere computerboer dit als vaste waarheid hanteert?
Als “iedereen” voor 99% dezelfde copy pasta affiliate marketing content is van 1 verkopende partij dan is het geen iedereen. Dan verzuipen de paar stukken gefundeerd onderzoek die allemaal net op een ander verwoorde manier zeggen panelen gaan 12 jaar mee.
Probleem is dat je het niet weet maar dat een LLM wellicht eerder de 99% copy pasta pakt. Maar wellicht ook niet, je hebt geen idee of er copy pasta filters in zitten.
Voor zonnepanelen uit de periode rond 2009 is er ook nog geen goed gefundeerde data over de levensduur in de praktijk onder Nederlandse omstandigheden. Het enige wat we hebben in 2024 is de schatting van de leverancier op basis van diens interne testen, vergelijkingen met de modellen uit eerdere jaren, en (incomplete data over) het percentage van die panelen dat het na 15 jaar nog goed doet.
Nou ChatGPT, wat vind je daar zelf van?
Het probleem heeft niet te maken met 2009 zonnepanelen. De geschiedenis van zonnepanelen begint ongeveer 1839. Toen ontdekte de Franse fysicus Antoine César Becquerel het zogenaamde ‘fotovoltaïsche’ effect. Voor het eerst werd ontdekt dat zonlicht kon worden omgezet in elektriciteit. 50 jaar later werd de eerste zonnecel gemaakt. In 1888 werd de eerste zonnecel met een foto-elektrisch effect toegepast door Alexsandr Stoletov. Vervolgens verbeterde William Baileys de zonnecollector in 1908 door koperen isolatie te gebruiken. Na de Tweede Wereldoorlog werden er grote stappen gezet richting de hedendaagse zonnepanelen.
Maar niet iedere fabrikant of type zonnepaneel een gaat in hetzelfde tempo achteruit. Dit is een belangrijk punt en verdient nadere beschouwing. Panelen ondervinden doorgaans een korte termijn verslechtering van minder dan 1% tot 3% tijdens het eerste jaar van gebruik. Onderzoeken tonen aan dat de prestaties van zonnepanelen met gemiddeld 0,8% tot 0,9% per jaar afnemen. Als een paneel bijvoorbeeld in het eerste jaar een degradatie op korte termijn van 2% heeft, zal het in het tweede jaar met een rendement van 98% werken. Uitgaande van een daling met 0,8% elk jaar daarna, zou het rendement in jaar 25 nog steeds 78,8% – 81,4 % bedragen.
Volgens uitgebreide tests onder andere uitgevoerd door commerciële zonnepanelenfabrikanten varieert de levensduur van zonnepanelen van 25 tot 40 jaar, afhankelijk van de fabrikant. Dit betekent niet dat het paneel na deze tijd niet meer werkt of geen elektriciteit meer produceert. Het betekent alleen maar dat de energieproductie is gedaald tot wat fabrikanten de ‘levensduur’ van de panelen noemen.
Dat de Rechter Chat GTP gebruikt voor het vaststellen en dit gebruikt als een van de bronnen is iets dat toegestaan kan zijn. Het probleem is echter wel welke versie van Chat GTP gebruikt is, tot wanneer is deze versie geactualiseerd, naast dat de formuleren van een vraag tot andere uitkomsten kan leiden.
De Rechter had wellicht eer beter aangedaan met een eenvoudige zoekopdracht naar het merk en type paneel. Daarmee ook gelijk de juiste levensduur kunnen vinden behorend bij het merk en type. Ook had hij dan de MBTF kunnen bepalen, naast dat hij ook de inverter, de eventuele accu’s, bekabeling, aansluitingen en het technisch ontwerp had moeten meenemen, het wel of niet schoonhouden van de panelen.
Mijns inziens is het een complexere zaak dan eventjes in Chat GTP opzoeken echter met de juiste vraagstelling had de Rechter in kwestie dit ook kunnen vinden en wellicht technisch kunnen interpreteren.
Met voorstaande zaken in acht nemende kan het mijns inziens zijn dat er een oordeel geweest dat mogelijk op zijn fundamenten aan alle kanten rammelt.
Denk dat zeker Rechter zich meer bewust moeten zijn dat in technologie niet elk element afzonderlijk is ook toleranties, het technische ontwerp en hoe het is samengesteld een grote invloed heeft.
Anders kan de Rechter ook de werking en uitgangspunten een impedantie trafo beredeneren. Een apparaat dat het mogelijk maakt om zonder staande golven het mogelijk maakt een kabel met een impedantie van bijvoorbeeld 75 Ohm met een kabel van bijvoorbeeld 120 Ohm te verbinden zonder werkende onderdelen of omvormers. Gaat menig zijn pet te boven en daarmee ook aangegeven waarom wat de Rechters doen met technologie vaak niet kan, zoals nu het geval is.
Met alle respect voor de Rechter in kwestie en het trachten op te lossen. Chat GTP kan slecht gebruikt worden als een vnade mogelijke bronnen.
Als de rechter zich meer gefocused had om het gebrek aan onderbouwing in de dagvaarding, dan zou er minder commentaar zijn geweest. Iets van: “De onderbouwing in de dagvaarding is even duidelijk als die van ChatGPT die zegt dat de levensduur 25a30 jaar is. Ik ga uit van de lagere (25a30 jaar) van deze twee gelijk onderbouwde levensduren.”
Even aan Gemini gevraagd: “Kan jij een feit herkennen als het zichzelf paars had geverfd en naakt zou dansen op een klavecimbel?” Antwoord:
Een feit is iets dat objectief waar is en kan worden bewezen. Het is een beschrijving van de werkelijkheid, zoals “De aarde draait om de zon” of “Water kookt bij 100 graden Celsius”.
Een feit kan niet zichzelf iets aan doen. Feiten zijn statisch en veranderen niet van vorm, kleur of gedrag. Ze bestaan gewoon.
Het scenario dat je beschrijft is onmogelijk: Een feit kan niet dansen, zich verven of naakt zijn, omdat feiten geen fysieke eigenschappen hebben. Het is een creatieve en fantasierijke voorstelling, maar het valt buiten de definitie van een feit.
Om het nog duidelijker te maken: Stel je voor dat je zegt: “Het feit dat de lucht blauw is, heeft zojuist besloten om groen te worden.” Dit is natuurlijk onzin, omdat de kleur van de lucht een feit is en niet zomaar kan veranderen.
Dus, om kort te gaan: Een feit kan zichzelf niet paars verven en naakt dansen op een klavecimbel. Dat is een onmogelijke situatie die de definitie van een feit tegenspreekt.
Wil je nog meer weten over feiten, of heb je een andere vraag?
Mijn vervolgvraag is: Noem een LLM dat de content van Blackadder niet kent.
Het probleem is, IMHO, de rechter. Dat die meent niet op een makkelijker en betrouwbaardere manier aan zo’n schatting te kunnen komen, is zorgelijk, want dat is toch echt een ABC-tje.
Als iemand die zo wereldvreemd is over mijn zaak moet oordelen, zou ik niet blij worden.
Gaat die rechter volgende week een rekenmachine gebruiken om 2*3 uit te rekenen?
En toch…. een rekenmachine gebruiken om 23 uit te rekenen is wellicht niet nodig, maar precies hoe moeilijk moet de som worden voordat je vind dat een rekenmachine gebruiken gewoon zorgvuldig is, meer zorgvuldig in elk geval dan zomaar afgaan op eigen kennis of aannames. Bij 23 niet, oke. Bij 45 misschien ook nog niet. Maar, precies waar wel? 817? 131*4072? ln(2 pi)?
Het punt is niet zozeer de berekening maar welke getallen er in moeten staan. Is het startpunt 25 à 30 jaar of 15 à 20? Dit kun je niet als rechter zelf bedenken, daar is een bron voor nodig of de aanname dat het “algemeen bekend” is. De rechter neemt hier die laatste route, en ik vind het spitsvondig om dat uit een LLM te laten blijken. LLMs hebben weliswaar nooit gelijk of ongelijk, maar ze zijn wel statistisch waarschijnlijk. Het zal dus in de buurt van de waarheid komen.
Foei, ga direct naar de gevangenis en ga niet langs af!
De verwachting van een trekking in een loterij met 99 prijzen van 1 euro en 1 prijs van 1 miljoen euro, met allemaal gelijke kans is EUR 1000.99 en ligt absoluut niet in de buurt van enige werkelijke prijs die je in de loterij had kunnen winnen.
Dit soort simplistische redenaties op basis van amateur statistiek is waardoor Lucia de Berk 6,5 jaar onschuldig in de gevangenis zat!
Ik mag zelf voor het werk ChatGPT gebruiken, maar onder strikte voorwaarden. ‘Feiten’ die uit ChatGPT komen, moet ik zelf allemaal verifieren. Ik mag ChatGPT niet als bron gebruiken, omdat deze pnbetrouwbaar is. Het grootste probleem is dat als chatGPT niet weet dat het een antwoord niet weet je de grootst mogelijke onzin krijgt die met de grootste stelligheid wordt gepresenteerd! En dat gebeurt best vaak.
Het is dan ook crimineel nalatig dat een rechter ChatGPT als bron gebruikt! Als een rechter niet mag googlesn, dan is dit nog erger, niet minder erg. Ik mag hopen dat er een hoger beroep is/komt en het hof verstandiger is dan deze rechter.
Oeps een typfoutje is senel gemaakt, de verwachting is natuurlijk EUR 10.000,99, niet EUR 1.000,99. Volgende keer meteen de duizentallen markeren, dan valt het wat sneller op…