Een advocaat uit New York gebruikte ChatGPT om een verweer in te dienen bij een letselschadezaak, en dat ging ongeveer zoals je zou verwachten: de volgendewoordvoorspeldienst genereerde een imposant stukje proza inclusief relevante zaken en verwijzingen naar wetsartikelen, die allemaal niet bleken te bestaan. Excuses zijn aangeboden, maar toch. Wut.
De zaak kwam aan het rollen nadat advocaat Steven Schwartz (30 jaar ervaring) vliegmaatschappij Avianca Airlines had aangeklaagd vanwege letselschade bij een cliënt. Nadat de maatschappij verweer had gevoerd, diende Schwartz een uitgebreide repliek in waarbij hij meende te mogen profiteren van geavanceerde generatieve Artificial Intelligence die in luttele minuten doodsaai juridisch werk transformeerde in een intellectuele ervaring.
Ik vergat er trouwens nog bij te zeggen dat nadat de wederpartij verzocht om kopieën van deze beweerdelijke jurisprudentie, Schwarts deze aan ChatGPT opvroeg en de resultaten opstuurde. Dat viel niet in goede aarde bij de rechter, die dus nu aanstuurt op sancties tegen de advocaat.
Wat ging hier mis? Zoals hij zelf uitlegt:
Schwartz, in an affidavit, said that he had never used ChatGPT as a legal research source prior to this case and, therefore, “was unaware of the possibility that its content could be false.” He accepted responsibility for not confirming the chatbot’s sources. Schwartz is now facing a sanctions hearing on June 8.We hebben hier een paar keer discussies gehad over of mensen al dan niet snappen wat ChatGPT is en hoe je het kunt gebruiken. Ik proef dan altijd een toon van ongeloof dat mensen zouden denken dat het wáár is wat eruit komt. Deze zaak laat volgens mij geen geïsoleerd one-in-a-million incident zien, maar eerder toevallig de eerste die betrapt werd.
Voor de duidelijkheid: GPT snapt niets van tekst, heeft geen idee wat een docket number is of zelfs maar wat het verschil is tussen een werkwoord en een tussenwerpsel. Het systeem is verbluffend goed in het maken van mooie zinnen, maar doet dat enkel op basis van statistiek, woordpatronen. Dat verklaart meteen hoe GPT met nepbronnen aan kan komen zetten: op die plek hoorde iets dergelijks te staan, en termen als “Varghese” of “China South Airlines” komen vaak voor bij dit soort teksten (luchtvaartrechtszaken) en daar moet een “v. ” tussen, prima, doen we dat.
ChatGPT gebruik je dus niet om bronnenonderzoek mee te doen. Er zijn systemen die een tekstgeneratie loslaten op zoekresultaten (zoals Bing of Bard), maar dat vereist dus een extra laag in het systeem. ChatGPT gebruik je om tekstanalyse te doen, of de opzet van een tekst te maken zodat je er zelf mee verder kunt. In advocatentaal: het is een student-stagiair, behandel het ding ook als zodanig.
Leren wat je wél kunt vragen? In september geef ik drie keer een masterclass “GPT in de juridische praktijk“. Wat kun je vragen, hoe vraag je dat en hoe weet je of je relevante antwoorden hebt. Schrijf je snel in!
Arnoud
Ik heb even overwogen om ChatGPT een reactie te laten schrijven op deze weblog. Aan de andere kant: hoe weet je nu of deze reactie is geschreven door ChatGPT of niet?
Bedankt voor deze verhelderende blogpost, Arnoud. Het is duidelijk dat de rol van AI in de juridische sector zowel kansen als uitdagingen biedt.
Allereerst, de zaak van advocaat Steven Schwartz toont aan dat AI, hoewel nuttig, niet blindelings vertrouwd kan worden. Schwartz gebruikte ChatGPT om een verdediging in te dienen in een letselschadezaak tegen Avianca Airlines. De AI verzon echter rechtszaken die niet bestonden, wat leidde tot verwarring en mogelijk sancties tegen Schwartz? (https://www.cbsnews.com/news/lawyer-chatgpt-court-filing-avianca/).
Het is duidelijk dat, hoewel AI zoals ChatGPT indrukwekkende resultaten kan opleveren, er een zeker risico bestaat als het wordt gebruikt zonder de geproduceerde inhoud te verifiëren. Dit benadrukt het belang van het begrijpen van de beperkingen van AI.
Zoals je terecht opmerkt, is ChatGPT uitstekend in het genereren van samenhangende zinnen op basis van statistieken en woordpatronen, maar heeft het geen begrip van de inhoudelijke betekenis van de tekst. Het kan dus geen betrouwbare bronnen of jurisprudentie genereren?1?.
Daarom is het essentieel om te begrijpen hoe we AI-tools zoals ChatGPT correct kunnen gebruiken. Zoals je suggereert, zou ChatGPT moeten worden gebruikt voor tekstanalyse en het opzetten van een tekst, maar niet voor bronnenonderzoek?1?.
Tot slot, het lijkt erop dat de juridische sector langzaam maar zeker AI begint te omarmen. Advocaten gebruiken AI-tools om door juridische documenten te zoeken en due diligence uit te voeren. Hoewel AI wordt gezien als een hulpmiddel om de efficiëntie te verhogen, niet om advocaten te vervangen, zijn er zorgen over ethiek en verantwoordelijkheid als AI een fout maakt. Sommigen geloven dat advocaten verantwoordelijk moeten worden gehouden als ze hun fouten niet erkennen.
Ik kijk uit naar je masterclass “GPT in de juridische praktijk” in september. Het is duidelijk dat er veel te leren is over hoe we AI op een verantwoorde en effectieve manier kunnen gebruiken in de juridische sector?1?.
Ik vind het hilarisch dat mijn eenvoudige Bayesiaanse spamfilter jouw GPT-gegenereerde comment meteen doorhad. Maar wat zijn de “?1?” tekens op het einde?
Een Bayesiaans filter is toch ook machine learning? En wat vertelt het feit dat ChatGPT’s commentaar in de spambak terecht komt ons over ChatGPT en de data waarop het getraind is?
“ChatGPT is goed in het reproduceren van spam.” (Excuses Hormel, niet het vleesproduct dat jullie maken.)
ChatGPT had in zijn output bronvermeldingen bij sommige zinnen, ik was vergeten die er uit te halen, aangezien ze allemaal teruglinkte naar deze blogpost (op de link naar cbsnews na) was het nut er niet echt om ze er in te laten.
Ik geloof er niets van dat die advocaat echt dacht dat het correct was. Dat is gewoon zijn (slappe) excuus achteraf.
Die toon van ongeloof blijft dus. Deze zaak verandert daar niets aan.
Sommige mensen zijn gevoeliger voor beïnvloeding dan anderen. Kijk maar eens hoeveel mensen Trump op de been kreeg met zijn “de verkiezingen zijn gestolen” retoriek. En veel mensen zijn liever lui dan moe; een tekstgenerator als ChatGPT genereert heel snel een gevraagd document in en specifieke vorm, maar als een professioneel jurist hoor je wel het geproduceerde document kritisch te reviewen voordat je het indient.
Ik noem Schwartz vooral lui, hij heeft geen onderzoek gedaan naar de kwaliteiten van ChatGPT en ook niet de eerste resultaten van zijn werk gecontroleerd op de wijze die van hem als professional verwacht kon worden. Hij is ook beïnvloedbaar, maar niet de enige die voor de hype rond ChatGPT gevallen is, het is moeilijk om in een dergelijke hype-golf met beide benen op de grond te blijven staan.
Ik ken de details van de zaak natuurlijk niet, en kan ook niet in het hoofd van Schwarz kijken, maar ikzelf vertrouw zelfs een ervaren en gediplomeerde collega maar net om een inhoudelijke voldoende sterke argumentatie voor een client op te stellen.
Ik kan me niet voorstellen, in geen enkel scenario en met welke hype dan ook, dat ik een geautomatiseerde tool zou vertrouwen.
Ik ben software-ontwikkelaar en heb ik de loop der jaren geleerd te vertrouwen op de kwaliteiten van mijn (huidige) collega’s. Ik heb ook een redelijk vertrouwen in de tools die ik voor mijn werk gebruik, maar wij controleren (reviewen, testen) wel of collega’s en tools voldoende goed werk afleveren.
Ik ben het met je eens dat je wanner je het werk van een tool (of collega) indient in een procedure dat je dan de (professionele) plicht hebt om dat werk te controleren.
Ik vind het merkwaardig dat iemand die ChatGPT (naar eigen zeggen) voor het eerst gebruikt op diens eigen vakgebied, niet even de moeite neemt om de resultaten te controleren, maar het gewoon onverkort doorzet.
Een AI die specifiek jurisprudentie kan doorzoeken en correct citeren lijkt dus wel een gat in de markt. Daar zullen de beheerders van de databases (voor zover niet openbaar) zich wel op storten tegen zeer lucratieve tarieven.