Academisch publiceren wordt steeds meer bedreigd door onwetenschappelijke krachten, zo opende een artikel over fictieve artikelen en/of auteurs recent. Dergelijke neppublicaties zijn sterk in opkomst, uiteraard dankzij generatieve AI dat wetenschappelijk klinkende tekst per strekkende meter produceert inclusief mooie bronvermeldingen. Is er juridisch wat aan te doen, zo vraagt de auteur zich af.
Nepartikelen en zelfs nepauteurs zijn van alle tijden, moet je dan als jurist zeggen, maar de laatste tijd loopt het wel de spuigaten uit. Bij Retraction Watch las ik zelfs dat drie tijdschriften in de CiteScore top 10 geheel nep zijn:
These journals are filled with automatically generated papers, all using the same template, extensively using buzzwords such as “blockchain,” “metaverse,” “deep learning,” “immersive visualization,” “neuro-engineering technologies,” and “internet of things.” Most papers claim to examine the recently published literature on these topics by “a quantitative literature review of the main databases.” They also claim to analyze initially (always!) between 170 and 180 articles that satisfied the undisclosed “eligibility criteria.”Of Rian van Rijbroek heeft een nieuwe baan, of hier zijn mensen zeer creatief met ChatGPT aan de slag geweest.
Het onderliggende probleem is dat vrijwel alle waardering voor wetenschappelijke papers automatisch berekend wordt. Het tellen van citations is de bekendste manier. En een tijdschrift lift daar weer op mee: hoe vaker er uit dat tijdschrift wordt geciteerd, hoe beter het wel zal moeten zijn. Dus ja, als je dan steeds je eerdere nepartikelen citeert en nieuwe artikelen rechtstreeks uit de API live zet, dan kom je als tijdschrift al snel in de top 10.
Dit doet pijn, niet alleen door de vervuiling maar ook omdat wetenschappers afgerekend worden op publiceren in de “goede” tijdschriften. Die top 10 van CiteScore is een metric om te bepalen of een tijdschrift “goed” is, en daar staan nu dus nog maar zeven tijdschriften in waar je als mens in zou willen staan.
Nepnieuws dus, om de juridische term te gebruiken. Het probleem is dat nepnieuws an sich niet strafbaar is. Wie goedkoop buzzword-gebrabbel wil publiceren, en dat zelf kan organiseren, moet dat vooral doen. De markt lost dat vanzelf wel op, want wie wil er abonnementen nemen op zo’n tijdschrift?
Ik ben er nog niet helemaal achter wat het businessmodel is hier. Ik denk het verleiden van onoplettende wetenschappers om hier te publiceren – vraag 300 euro “review fee” en publiceer daarna ongezien. Strafbaar is dat niet echt, je krijgt een publicatie dus oplichting is moeilijk hard te maken. Ik zie ook zo snel geen misleidende beloftes zoals dat topresearchers een peer review gaan doen.
Het doet denken aan de oude problematiek van de bedrijfsgidsen, maar daar was de misleiding groter: die vragen of je je gegevens wilt checken en leggen jouw “het klopt” uit als een akkoord op een betaald abonnement van 1500 euro per jaar voor vijf jaar zonder tussentijdse opzegging.
Hier zie ik echt niet meteen een juridisch haakje om tegen deze publicaties op te treden. De enige echte route is die van de Digital Services Act – merk dit aan als een systeemrisico. Alleen zijn de aanbieders van CiteScore en collega’s geen groot platform dat een dergelijke plicht heeft. Dat wringt, want dit ís een systeemrisico. Alleen is er niemand voor verantwoordelijk.
Arnoud
Oef. Chapeau Arnoud, niet verwacht dat de hardste grap van de dag, van jouw blog afkomstig zou zijn.
Denk dat een deel van het probleem ook ligt bij de universiteiten en de academische wereld. Ze hebben een deel van de publicatie en distributie bij (vaak commerciële) derde partijen belegt en nu komen ze er opeens achter dat dit nogal gevoelig is voor misbruik.
Wat ook niet nieuw is, want Publication Bias is natuurlijk al een langer bekend fenomeen. De academische wereld wordt door Chat GPT en zo misschien nu gedwongen om wat beter om te gaan met hun eigen publicaties.
Aanvullend ligt ook een ander deel van het probleem bij de academische wereld. Zij willen de wetenschappelijke kwaliteit van iemand kunnen afmeten aan 1 of 2 getallen, zonder er inhoudelijk werk in te steken.
Natuurlijk zijn er dan mensen die dat systeem proberen te misbruiken, dat is al tientallen jaren gaande. En nu kan dat misbruiken dankzij AI goedkoop en makkelijk.
Als de reeds aanwezige wetenschappers de artikelen lezen, kunnen zij prima over de wetenschappelijke kwaliteit van hun kandidaat-collega oordelen.
Niet alleen wordt de academische wereld door Chat GPT en zo misschien nu gedwongen om wat beter om te gaan met hun eigen publicaties, maar ook om de publicaties van anderen daadwerkelijk te lezen.
Wacht even, zeg je nu dat die wetenschappers geacht worden deze neptijdschriften te lezen en elk artikel van reviews te voorzien? Dat gaat me wat erg ver. Is het niet omgekeerd: enkel die tijdschriften waar wetenschappers wat in zien, kunnen enige status verwerven en moeten smeken om peer reviewers om hun status te behouden?
Nee Nee Nee, absoluut niet.
Wat ik zeg is dat een wetenschapper die die naam waard is, weet welke andere wetenschappers (of desnoods: welke onderzoeksgroepen zonder alle namen te kennen) serieus bezig zijn op dat vakgebied, en welke niet. Voornamelijk weet zhij dat door de artikelen die zhij leest en de conferenties die zhij bezoekt.
Jij weet toch ook welke vakgenoten hun vak verstaan en welke minder of niet? Jij ziet toch ook binnen een minuut of een artikel BS is van een AI-bot, of echt een issue grondig behandelt volgens de regels van de kunst? Je weet toch welke vaktijdschriften/blogs serieus zijn en welke clickbait?
Daar is geen, of niet veel, extra werk voor nodig.
Helemaal mee eens, maar dat is niet het probleem. De managers van de wetenschappers zoeken metrics om output te beoordelen. Dat zijn dus indices van top-10 tijdschriften, en daar moet jij dan X publicaties per jaar in doen. De wetenschapper weet dat drie daarvan prutswerk zijn en de vermelding niet waard, maar heeft dan nog maar zeven opties om in te publiceren. De manager accepteert dit niet want wil objectief blijven en dus drijven op de index die zegt wat de top-10 is. De organisatie achter de top-10 gaat echt niet erkennen dat ze falen in hun manier van werken, zeker niet als het een individuele wetenschapper is die piept.
Er zit dus iets scheef, maar niemand heeft een incentive om het te veranderen.
Dat is dus juist wel (een deel van) het probleem. Ruud gaf aan dat een deel van het probleem ligt bij het uitbesteden van publicatie en distributie aan commerciele partijen.
Ik geef aan dat een ander deel van het probleem is dat managers van wetenschappers verkeerd bezig/matig geschikt/lui zijn door output te reduceren tot enkele metrics, die dan ook nog eens automatisch gegenereerd worden, en die (en dat weet iedereen al jaren) maar heel matig objectief zijn.
Als een wetenschapper al veel management nodig heeft, moet dat natuurlijk wel een manager zijn die kan begrijpen of de wetenschapper zijn werk goed doet, niet een manager die een slechts een getalletje uit een database haalt, dat is geen wetenschapsmanagement.
Het probleem dat jij benoemt is dat de metrics gemanipuleerd worden, het probleem dat ik benoem is dat de betrouwbaarheid van die metrics al heel lang laag is, en een wetenschapsorganisatie zich sowieso daar al niet door had mogen laten leiden.
Zou deze ai-manipulatie misschien opgezet zijn door mensen die het (in hun ogen kapotte) systeem van wetenschappelijke publicaties proberen op te blazen? Misschien had iemand door dat die commerciele partijen en de managers het niet door hebben of het wel gescheten vinden, en proberen op deze manier te bewijzen hoe stuk het is.
Een beetje zoals die pseudo-wetenschappelijke bladen waar ze meerdere compleet belachelijke artikelen hebben ingestuurd, (waarvan sommige dus echt geaccepteerd zijn), puur om te bewijzen dat die “wetenschappelijke” bladen pseudo zijn.
Het zou kunnen, maar dat is wel veel werk en het punt is al eerder gemaakt. Ik blijf bij mijn vermoeden dat hier het model achter zit van naïeve wetenschappers laten betalen voor een peer review “in een top 10 tijdschrift”, waarbij ChatGPT dan de peer is. Never attribute to malice that which can be attributed to greed, zeg maar.
Er verschijnen steeds meer onafhankelijke en niet-commerciële publicatieplatforms, er wordt vanuit de EU gewerkt aan centrale en open platforms om data en resultaten te publiceren, en er is een vrij breed gedragen initiatief om ook de beoordeling van wetenschap en wetenschappers te hervormen om van die metrics af te komen.
Het kost alleen tijd, omdat het hele wetenschappelijke systeem mee moet veranderen. Bovendien zitten niet alle vakgebieden en regio’s rond de wereld op hetzelfde punt, of hebben ze verschillende gebruiken en vereisten. En het helpt natuurlijk ook niet wanneer de boodschap eigenlijk is dat je de eenvoudige, vertrouwde methoden wilt vervangen door iets dat meer werk gaat kosten, en de door wetenschappers jarenlang opgebouwde reputatie op basis van die metrics min of meer wilt afschaffen, ook al leidt dat op de lange termijn tot een verbetering.
En natuurlijk moeten er ook de nodige nadelen en kinderziektes van nieuwe ideeën en systemen opgelost worden. En in de tussentijd kunnen dit soort predatory journals dus nog prima ‘zaken’ doen.
Dat is wel redelijk kort door de bocht.
Er zijn vakgebieden die zo groot zijn, dat je de grote namen binnen dat vakgebied wel kent, maar daar een enorme anonieme massa achter zit, en waarbinnen honderden, zo niet duizenden, verschillende journals en publicatie-platformen bestaan. Als ik bij Arnoud aankom met een of andere Japanse jurist uit Yokohama, zal hij wellicht ook niet weten hoe kwalitatief goed die is, ook al is het misschien één van de beste in de hele regio daar.
Ten tweede geldt het kennen van je vakgebied door ervaring en conferentiebezoek alleen voor wetenschappers die al redelijk wat jaren bezig zijn en die ervaring hebben opgebouwd. Jonge, onervaren wetenschappers, hebben deze kennis doorgaans nog niet.
Daarbovenop komt nog dat het bezoek van dergelijke conferenties flink wat geld kost. Dat is misschien niet zo’n probleem voor wetenschappers in de Westerse wereld, met instellingen, universiteiten, en beurzen die dat kunnen bekostigen, maar er zijn legio gebieden rond de wereld waar er een stuk minder geld beschikbaar is en wetenschappers minder mogelijkheden hebben om dergelijke conferenties bij te wonen.
Dat is waar, en er zit natuurlijk nuance aan, maar goed, dit zijn blogcomments, geen genuanceerde eaasys over de organisatie van wetenschap en de rol van publicatiedruk daarin.
Volgens mij gaat dat alleen over filosofie. Geen idee hoe representatief dat is voor andere vakgebieden.
Het bedrijfsmodel zit hem in het feit dat de wetenschappers er op worden afgerekend hoeveel en hoe “goed” ze publiceren. Daarnaast zijn landen als India en China sterk in opkomst, dus is er een grote, groeiende vraag naar publicatie-kansen. Niet iedereen die een academische carrière ambieert (of een promotie/phd) is echter een goed wetenschappelijk auteur. Het is echter (kennelijk) mogelijk om papers of auteurschap te kopen, of chatgpt rommel uit de duim te laten zuigen. En als je dan als uitgever (of editor met interesse in bruine enveloppen) niet te critisch bent dan krijg je veel papers (en dankzij “open access” veel publicatiefees).