“Tijdens de mondelinge behandeling is vastgesteld dat alle verwijzingen in de conclusie van antwoord naar uitspraken van de Hoge Raad onjuist zijn.” Voor het eerst dat ik dat lees in een Nederlands vonnis, en zoals de rechtbank dan zegt roept het vele vragen op.
Het vonnis betreft een handelsnaaminbreuk, en de verwijzingenkwestie komt pas als laatste terzijde aan de orde, want de zaak kon ook zonder gewoon worden opgelost. Maar toch, ik zou knap balen als dit over mijn conclusie van antwoord werd gezegd:
In de conclusie van antwoord heeft [de gedaagde partij] verwezen naar (vermeende) uitspraken van de Hoge Raad ten aanzien van het handelsnaamrecht, met vermelding van een (vermeend) ECLI-nummer. Geen enkele van de aangehaalde (vermeende) arresten heeft betrekking op het handelsnaamrecht. Sommige ECLI-nummers horen bij strafrechtelijke uitspraken, andere bestaan in het geheel niet.Ik denk dan meteen “ah, ChatGPT gebruikt”. Want die tool – en zijn vriendjes Claude en Copilot – heeft er een handje van de mooiste uitspraken op te lepelen die precies het betoog ondersteunen.
Mét een ECLI, want dat hoort er bij. Maar of die ook feitelijk bestaan en ondersteunen wat er wordt gezegd, dat is een heel ander verhaal. Het is meer Keyzer en de Boer: het klínkt goed, maar voor de feiten moet je elders wezen.
De rechtbank trekt geen conclusie, want je kunt immers niet zeker weten of iemand zo’n tool gebruikt tenzij die dat erkent. De verklaring hier doet voor mij als ict-er wat ongemakkelijk aan:
Desgevraagd heeft (de advocaat van) [de gedaagde partij] verklaard dat dit alles is veroorzaakt door een probleem bij het converteren van een word-bestand naar pdf. Deze verklaring roept vragen op.Nou weet ik dat pdf-bestanden rare ondingen zijn, maar dat ze ECLI-nummers verbouwen heb ik nog niet gezien. Links die wegvallen, tekst die niet meer selecteerbaar is, tekst die na het plakken Unicode-prut wordt – zeker. Maar dit? Ik geloof het gewoon niet.
Arnoud
Je zou verwachten dat een advocaat kan vermoeden dat het beter is niets te zeggen dan ongeloofwaardige excuses te bedenken.
In Amerikaanse films / bij Angelsaksische rechters zou er misschien ‘contempt of court’ worden geroepen.
Klopt, in Nederland heb je niet echt een middel om je ongenoegen om te zetten in actie. Het ‘beste’ is dat je via artikel 21 Rechtsvordering mag doen wat je geraden voorkomt, zoals dat zo mooi heet, maar dat betekent meestal niet meer dan het stuk buiten beschouwing laten. “Omdat het verweerschrift vol staat met ChatGPT hallucinaties, schuift de rechter het terzijde, er is dus geen verweer te behandelen en dus wint eiser met boeter en suiker.”
Deze rechter vond het niet leuk gewraakt te worden door ChatGPT:
Zouden grote taalmodellen dan toch de toekomst van de advocatuur zijn? Het lijkt dat je met hulp van ChatGPT een rechtszaak kunt winnen, zoals uit de wrakingszaak blijkt. (Mits je het gereedschap correct gebruikt.)
In hoeverre is dat iets (misschien) uit een LLM komt relevant of doorslaggevend? Uiteindelijk gaat het erom of iets inhoudelijk juist is.
Er zal ook werk worden uitbesteed aan een junior advocaat, juridisch assistent, stagiair of een template tool.
De opmerking van de gewraakte rechter dat het lijkt op iets dat uit ChatGPT komt lijkt me dan een goedkope tegenwerping waarbij hij inhoudelijk niet op het wrakingsverzoek ingaat.
De rechter gaat wel degelijk op de aangedragen punten in, en uiteindelijk maakt het dus ook niet uit of de tekst uit een LLM komt. Maar het voelt ergens lui misschien, dat je ChatGPT een paar strekkende meter argumenten laat uitdraaien en dat over iemand heen gooit? Ik zit ook niet te wachten op AI-prut in de comments, ook niet als dat inhoudelijk juist is.
Ik ben benieuwd hoe het verzoekschrift er uit zag, want de wrakingskamer weet daar tien behoorlijk concrete punten uit te destilleren. Is er een concept geschreven en aan een taalmodel gevraagd om het in de juiste juridische vorm te gieten? (En daarna nog even nagelopen op fouten in de feitjes?)
Mijn gevoel zegt me dat geen opdracht van het type “zuig iets uit je duim” geweest is. De feiten zullen onderdeel van de invoer van het model gewest zijn.
Hij gaat er inderdaad óók inhoudelijk op in.
Maar de insinuatie dat er misschien ChatGPT is gebruikt is geen inhoudelijke respons, eerder een makkelijk openingsschot om de wrakende partij er lui uit te laten zien.
Waarom zou luiheid van de advocaat een argument tegen wraking zijn?
Als hij ChatGPT honderdduizend argumenten laat uitspugen waarvan er één of twee juist zijn dan kan de de wrakingskamer het afwijzen omdat er nooit honderdduizend argumenten kunnen zijn en het niet van de wrakingskamer verlangd kan worden dat zij op zoek gaan naar die één of twee juiste argumenten.
Maar als hij ChatGPT de juiste prompts geeft zodat het alleen die één of twee juiste argumenten uitschrijft wat is daar dan op tegen? Zou hij dat ook niet door de stagiair mogen laten doen? “Het ziet er uit alsof dit door CHatGPT is geschreven.” is niet heel anders dan “het ziet er naar uit alsof dit door een stagiair is geschreven.”.
Het verschil tussen dit blog en een rechtszaal is volgens mij dat dit blog bedoeld is om mensen met elkaar te laten discussiëren terwijl de bedoeling van een rechtszaal is om een juridisch geschil op te lossen. Een discussie tussen mensen is niet gebaat bij comments uit een LLM, correct of niet. Maar correcte inbreng vanuit een LLM kan wel bijdragen aan het oplossen van een juridisch geschil, net zoals correcte inbreng door een advocaat of zijn stagiair.
Ik zou een duidelijk gespecificeerde factuur eisen van mijn advocaat.
Als daar alleen uren op staan dan de factuur niet betalen gezien er niet verrichte werkzaamheden in rekening zijn gebracht.
Het zou in ieder geval niet moeten kunnen dat een advocaat de boel naar chatGPT afscheept, dat verder helemaal niet naleest of enigzins controlleerd en mooi een dikke factuur verstuurd voor niet gemaakte uren.
Is hier sprake van schending van de voor advocaten geldende gedragsregels? Zie Regel 8 Geen onjuiste informatie: De advocaat dient zich zowel in als buiten rechte te onthouden van het verstrekken van feitelijke informatie waarvan hij weet, althans behoort te weten, dat die onjuist is. https://regelgeving.advocatenorde.nl/content/gedragsregels-advocatuur.
Ik speel even advocaat van de duivel: uit welke gezaghebbende bron moet een gemiddeld advocaat (die géén bijzondere ict-kennis heeft) weten dat de dienst ChatGPT weliswaar pretendeert juridische kennis te hebben, maar deze volstrekt uit de duim zuigt? Het is vrij uniek namelijk dat een ict-dienst die specifieke combinatie van pretentie en bullshit heeft. En voor ieder artikel waarin een deskundige zegt dat je ChatGPT niet moet vertrouwen, heb ik een artikel van een deskundige die ChatGPT als de toekomst van de advocatuur en disruptief voor de juridische sector aandraagt.
Dat argument werkt beide kanten op… Voor elk artikel waar ChatGPT wordt bewierookt, is er net zo makkelijk een artikel te vinden dat het tegenovergestelde stelt. En dan kom je uit bij het feit dat een ingehuurde expert, zonder vooronderzoek, zonder review een tool heeft gebruikt waar de bronnen elkaar tegenspreken.
Als dat geen schending van de gedragregels is, dan is het op z’n minst het verzaken van de zorgplicht en zeker niet de dienst leveren die je als cliënt redelijkerwijs mag verwachten ;-).
“De bronnen” is te makkelijk. In de juridische wereld zie ik vele, vele berichten over wat ChatGPT gaat doen met de sector en hoe het juridisch werk gaat transformeren. Dat haalt de voorpagina en komt zeer regelmatig terug. Implementeerders en consultants vertellen je dit graag en helpen je een workflow bouwen.
Berichten over risico’s komen op de achterpagina of in de sectie opinie, en natúúrlijk zegt iedereen dat ze uitvoer goed controleren. Doen ze van de stagiair ook, toch?
Daarom zeg ik: wat is een gezaghebbende bron die waarschuwt voor inzet van ChatGPT? Ik ken een onderzoek uit 2024 van de Praktizijns Society. Maar de algemene teneur is je moet er mee leren omgaan, niet “pas op doe het niet”.
Ik begrijp je argumenten, maar het klinkt voor mij wel als “We weten allemaal dat het fout is, alleen we kunnen niet helemaal zeggen exact waar staat wat precies fout is, dus daarom doen we alsof het goed is”. Alsof de kaasboer zegt “Ja deze kaas is beschimmeld, maar het is moeilijk om heel exact te zeggen precies waar de eetbare schimmel stopt en de giftige schimmel begint, dus daarom is de kaas niet beschimmeld”.
Is het onredelijk dat als je iets gebruikt je de genoemde bronnen op zijn minst even controleert of het kan kloppen? Dan was het de advocaat zelf opgevallen en had deze misschien iets betere verwijzingen opgezocht.
Zou van een zorgvuldig werkend en bekwaam advocaat niet verwacht mogen worden dat hij even bronnen checkt alvorens zich erop te beroepen? En zelfs al zou jouw verweer opgaan, lijkt er nog geen excuus te zijn voor het zwamverhaal over de PDF conversie. Ook dat lijkt me niet echt integer, en dus in strijd met Art. 10a(1)(d) van de Advocatenwet. https://wetten.overheid.nl/BWBR0002093/2024-04-01
Uit welke norm volgt dat je de uitvoer van een gezaghebbende databank controleert? Ik ga ook niet alle arresten lezen die Spoor/Verkade/Visser oplepelt. Als zij zeggen dat Endstra hét arrest is, dan zet ik Endstra in mijn pleidooi.
Ik wil de bronnen die ik in mijn literatuurlijst zet gezien en op zijn minst even snel diagonaal gelezen hebben, zodat ik redelijk zeker kan zijn dat zij mijn verhaal ondersteunen. Daarmee vermijd je niet alleen AI-hallucinaties, maar kun je ook tijdig argumenteren waarom bronnen die jouw argumentatie tegenspreken niet van toepassing zijn op jouw specifieke zaak (of ze discreet weglaten).
Ik wil best meegaan in het feit dat de gemiddelde gebruiker niet zomaar kan weten dat ChatGPT dingen verzint.
Maar ben je als advocaat niet gewoon eindverantwoordelijk voor wat je inlevert?
Natuurlijk, maar waarom is een advocaat daarin meer dan een gemiddelde gebruiker?
Ik moet steeds denken aan de beginperiode van internet waarin mensen informatie van internet inleverden en dat zou dan kloppen want Het Stond Op Internet.
De advocaat is een professional en van professionals kan over het algemeen meer worden verwacht dan een amateur. Ik zou van beiden verwachten dat hun bronnen (summier) controleren, maar als het gaat om een niet gepubliceerde bron kun je de amateur dat vergeven. Verder zou ik zeggen dat algemeen bekend is dat ChatGTP dingen verzint. Die amateur is op een ander vlak weer een professional en zal ook daar ervaren dat ChatGTP dingen verzint. De ene keer komt ie met goud en de andere keer is de grootste onzin.
Van een automonteur wordt verwacht dat hij verstand heeft van auto’s, terwijl dat niet wordt verwacht van een leek. En van een advocaat wordt verwacht dat hij verstand heeft van procederen, terwijl dat niet wordt verwacht van een leek. Een leek kan misschien niet een advocaat willen inhuren maar zich wel voor de rechtbank verweren. Dan krijg je nu eenmaal stukken waarvan de kwaliteit minder kan zijn. Een leek weet misschien zijn weg niet te vinden naar de plek waar uitspraken te controleren zijn of heeft daar geen toegang toe, terwijl een advocaat dat allemaal moet kunnen en weten.
Maar als een automonteur op basis van een gezaghebbende bron zoals een werkplaatshandboek van een auto een bepaalde handeling op de in die bron beschreven wijze uitvoert maar dat resulteert in schade, dan is die monteur wellicht verantwoordelijk voor het uitvoeren van die handeling en moet de monteur de schade herstellen, maar je gaat dan toch niet zeggen “waarom heb je de bronnen achter je gezaghebbende bron niet gecontroleerd”?
Maar als een automonteur op basis van een internet zoekresultaat een bepaalde handeling uitvoert, dan wel.
Waarom vergelijk je gen-ai met een gezaghebbende bron zoals een werkplaatshandboek, terwijl het dat pertinent niet is ?
Ik denk dat als je heel Nederland het vraagt, er meer mensen zeggen dat AI wél gezaghebbend is dan niet. Daar is de vergelijking op gebaseerd.
Maar de evaluatie ‘gezaghebbend of niet’ is geen democratische beslissing. De waarheid heeft ook haar rechten!
Waarheid en gezag zijn twee verschillende dingen, in mijn beleving. Dat de zon vanochtend om 07.06 opkwam is een feit. Dat een hyperlink inbreukmakend is, is met gezag bepaald door het Hof van Justitie. De vernietigende analyse van Jantje Apekool daarover heeft geen gezag, want niemand ziet hem als gezaghebbend.
Er zit dus wel een element van democratie in: iemand heeft gezag omdat wij dat diegene toekennen. Bij gerechtshoven is dat misschien impliciet, “omdat de wet het zegt”. Maar waarom nemen we Jantje Apekool niet serieus en professor Bernt Hugenholtz wel? Beiden hebben “een mening” over dat arrest van het Hof van Justitie. Mijn conclusie komt niet verder dan dat Hugenholtz dat gezag heeft omdat de meeste juristen vinden dat hij dat verdient.
De een heeft er jaren voor gestudeerd, de ander niet. De een heeft aanvullend jaren onderzoek gedaan, de ander niet. De een gebruikt echte ECLI nummers, de ander niet. De een kun je niet, of zelden, op een feitelijke fout betrappen, de ander juist supervaak. De een is professor, de ander niet, zelfs geen junior-assistant-professor aan de Mickey Mouse University.
Ik denk niet dat ‘omdat de meeste juristen vinden dat hij dat verdient’ de echte reden is. De echte reden is misschien eerder dat geinteresseerden in het ene betoog gemakkelijk gaten kunnen prikken, en in het andere betoog niet.
De reden is dus misschien geen positieve reden (‘omdat hij zo goed is’), maar een ‘negatieve’ reden (‘omdat hij al lang bezig is en in die lange tijd geen bagger geproduceerd heeft’)
Waarom heeft reguliere geneeskunde gezag en kwakzalverij niet? Niet omdat de reguliere geneeskunde perfect is en alles oplost, maar juist omdat het alternatief dat nadrukkelijk NIET doet.
Zo is het misschien met gezag ook wel. Je hebt het, omdat de andere personen/bronnen/theorien het overduidelijk niet hebben.
De vraag is dan nu: als iemand anders dit nu weer doet, is het dan een probleem?
Ik hoop toch dat dit binnen de advocaten wereld wel wat reuring heeft veroorzaakt en men nu gewaarschuwd is?