Scrapen mag in de gebruiksvoorwaarden worden verboden, argh

| AE 7368 | Zoekmachines | 46 reacties

De Nederlandse vergelijkingssite PR Aviation mag geen gegevens scrapen van de website van Ryanair, zodat prijzen automatisch in de vergelijker terechtkomen. Dat meldde Nu.nl gisteren. Het Hof van Justitie bepaalde namelijk dat hoewel de data van Ryanair niet beschermd is, het bedrijf met hun gebruiksvoorwaarden mag verbieden dat mensen deze gegevens gebruiken in prijsoverzichten. Wát een vervelende uitspraak.

Ryanair en PR Aviation hebben al jaren een slepend conflict over of de laatste de prijzen van Ryanair mag opvragen en in haar vergelijker mag opnemen.

Ryanair beriep zich daarbij altijd op haar auteursrecht en databankrecht, maar dat werd eerder door onze Hoge Raad afgewezen: er zit geen auteursrecht of databankrecht op een prijslijst, kom nou. Voor auteursrecht moet je iets creatiefs doen in de tekst, en daar is geen sprake van. En voor een databankrecht moet je investeringen hebben gedaan die specifiek zagen op het maken van de prijslijst, en die zijn er niet. Dat je investeert in je dienstregeling, is irrelevant: dat gaat niet over de lijst zelf.

Als laatste redmiddel had Ryanair ook nog in haar gebruiksvoorwaarden opgenomen dat je niet mocht scrapen. En het Hof van Justitie zegt nu dat dát rechtsgeldig is (in principe), ook al blokkeer je daarmee de rechten die mensen hebben om auteursrechtelijke of databankrechtelijke informatie te gebruiken. Die rechten zijn namelijk niet aan de orde omdat er geen auteursrecht of databankrecht rust op deze data.

Dus, eh, als er auteursrecht op zit dan mag ik citeren en als het een databankrecht is dan mag ik kleine stukjes overnemen voor legitieme doelen, maar als er géén bescherming is dan mag ik niets? Dat lijkt me een beetje raar, dan ga je toch als site met prijzen altijd zeggen, ik heb geen databankrecht, blijf van mijn data?

Welnee joh, zegt het Hof:

Een dergelijk betoog gaat immers voorbij aan het juridische en economische belang dat voor de persoon die heeft geïnvesteerd in het aanleggen van een databank, besloten ligt in de in de lidstaten geharmoniseerde automatische bescherming die verbonden is aan het uit het auteursrecht voortvloeiende uitsluitend recht om de verschillende in artikel 5 van richtlijn 96/9 genoemde handelingen aan zichzelf voor te behouden, en aan het recht om op grond van het recht sui generis de in de artikelen 7, leden 1 en 5, en 8, lid 2, van de richtlijn genoemde handelingen te verbieden.

Oftewel: omdat een databankrecht zo leuk is, gaan bedrijven als Ryanair écht liever investeren in alsnog een databankrecht (met verplicht toelaten dat je gescrapet wordt) dan dat ze nu op hun data blijven zitten en “Blijf met je rotpoten van onze rotprijzen af” in juridische taal roepen. Eh, juist.

Inderdaad, ik vind dit storend. Zoekmachines en prijsvergelijkers hebben een legitieme functie in de maatschappij en behoren prijsinformatie en dergelijke transparant te kunnen maken. Daar moet auteursrecht of databankrecht niet aan in de weg staan, daar zijn die rechten niet voor bedoeld. En oké het Hof laat doorschemeren dat dat niet gaat lukken, maar was het nou écht nodig om te zeggen dat je bij afwezigheid van die rechten een pseudo-recht kunt claimen met een contractuele afspraak? Want je wéét dat iedereen de komende jaren gaat roepen “wij hebben ergens een disclaimer met magniet erin, dus je bent in Ernstige Mate Maatschappelijk Onzorgvuldig en wanprestatie en juridische foei”.

Het enige lichtpuntje is dat er natuurlijk wel een contract moet zijn tussen de site en de scrapende bezoeker. En daarvoor is (zou ik zeggen) wel meer nodig dan dat je ergens een bestandje “gebruiksvoorwaarden” neerzet, zeker als je ongebruikelijke bepalingen opneemt zoals “je mag geen prijzen overnemen”. Dus ik hoop dat de Nederlandse rechter die straks het eindarrest moet wijzen, een duidelijke uitspraak doet wanneer je nu met website-gebruiksvoorwaarden een contract tot stand brengt met je bezoeker.

Arnoud

Deel dit artikel

  1. Mag ik weer aan komen met mijn verwijzing naar RFCs en andere technische standaarden dat het volgen van een link (URL) en het doen van een HTTP GET geen bij-effecten mag hebben? Ik denk dat het aangaan van een contract / accepteren van gebruiksvoorwaarden zo’n bij-effect is.

    Natuurlijk zijn daar technische work-arounds voor, bijv. een knop waarmee je een HTTP POST doet, die wel bij-effecten mag hebben, bijvoorbeeld een knop “Ik accepteer de gebruiksvoorwaarden”. Alleen: dit werpt een drempel op voor bezoekers, dus sites die deels als advertentie dienen zullen dat niet snel doen.

    Ik verbaas me wel eens over sites die gebruiksvoorwaarden hebben, die ik normaal gesproken alleen kan vinden door de site te bezoeken. Als ik met het bezoeken van de site aangeef de gebruiksvoorwaarden te accepteren, dan had ik eigenlijk van te voren de gebruiksvoorwaarden moeten lezen, maar om de gebruiksvoorwaarden te lezen moet ik de site bezoeken. Een mooie catch-22 dus.

  2. Ik ben het toch grotendeels oneens met je. Een website mag toch zeker zélf bepalen wat en wie hij wil toelaten. Wat mij betreft krijgt een robots.txt ook gewoon een juridisch karakter en zullen alle robots zich daaraan moeten houden (én zichzelf goed identificeren). Als jij dus geblokt wordt door robots.txt dan moet je daar maar genoegen mee nemen.

    Misschien is de juridische weg die nu bewandeld is niet helemaal de juiste maar ik vind de uitkomst juist wel goed.

    • Effectief kan je zo dus prijsvergelijkingsites blokkeren. Als iedere dergelijke voorwaarden gaat gebruiken is dat het einde.

      Ik zou zeggen dat in het publieke belang wettelijk geregeld zou moeten worden dat het publieke belang bij prijsvergelijkingsites zwaarder weegt dan auteursrecht en databankrecht en dat een beding dat prijzen niet gescrapet mogen worden op de zwarte lijst komen.

        • Ik ben wel benieuwd waarom ieder zelf zou moet beslissen of hij opgenomen wil worden? Waar ligt bij jou dan de grens? 1 Mag ik als individu handmatig de prijzen vergelijken? 2 Als ik als individu vaker dezelfde artikelen koop, mag ik datgeen wat ik handmatig doe dan met een scriptje automatiseren? 3 Mag ik als individu dat maken van het script uitbesteden als ik zelf daar de kennis niet voor heb? 4 Als ik zo’n script heb en merk dat er meer mensen zijn die het kunnen gebruiken, mag ik het script delen met die anderen? 5 Mag ik dat script voor mezelf houden en op een server draaien en al die geinteresseerden naar mijn server laten komen ipv het script te delen?

          Jij zegt dat 5 volgens jou niet zou moeten mogen, maar waar trek je de streep en waarop baseer je die grens?

          • De grens ligt bij mij al bij 2. Als jij een scriptje (bot) maakt dan moet je het fatsoen hebben te luisteren naar robots.txt én je gewoon als bot te identificeren. Zodra de eigenaar van de site/server, die bot een beperking oplegt dan moet je je daaraan houden.

            Net als dat er in de winkel een bordje verboden toegang bij een deur staat dan mag je daar niet naar binnen.

            Ik ben dan wel benieuwd waarom jij vindt dat het wel altijd zou moeten mogen en waarom een site eigenaar daar blijkbaar niets over te zeggen heeft? Waarom vindt jij dat het ene bedrijf geld mag verdienen door resources op te slokken van een ander bedrijf? En is er een limiet aan het aantal scrapes dat je per minuut/uur mag doen of is dat ongelimiteerd?

            • “Resources opslokken” is niet hoe het normaliter gaat. Van een fatsoenlijke bot heb je geen last, net zoals je van een normale mystery shopper of prijzenopschrijvende journalist geen last hebt. En buiten overlast zie ik geen reden om iemand te weigeren die bezig is met iets relevants en nuttigs, namelijk jouw prijzen vergelijken met die van de concurrent. Ja, jij wil niet bekend staan als “niet de goedkoopste” maar dát is geen juridisch relevant belang. Wij als maatschappij moeten kunnen zien wie er duur is en wie goedkoop (of andere kenmerken) en je behoort als bedrijf je hier niet tegen te verzetten. Ook niet met een beroep op je eigendomsrecht op je server of auteursrecht/databankrecht op je prijzen.

      • En dat is slecht omdat?

        Ik kan me goed voorstellen dat je als bedrijf niet in een prijsvergelijker wilt worden opgenomen. – Bij sterk wisselende prijzen (dagprijzen bijvoorbeeld) krijgen potentiële klanten verkeerde informatie omdat de database van de vergelijker achterloopt. Dat kan zicht uiten in dat je onterecht te duur gevonden word, maar ook in dat de uiteindelijke echte prijs tegenvalt en een potentiële klant zich daardoor opgelicht voelt. – Je wilt als bedrijf geen prijsconcurrentie aangaan omdat je je onderscheidt op kwaliteit of iets anders (ja, je gelooft het niet, maar dat bestaat nog echt!) – Je wilt las bedrijf niet meedoen met de maffia achter de vergelijkingssite, en dus ook geen bijdrage leveren om beter uit de vergelijking te komen. Dat is namelijk de dagelijkse praktijk achter dit soort sites.

        Als er al een publiek belang speelt, dan is het dat het publiek beschermt moet worden tegen dit soort sites…

    • Echt waar NP?

      Ik mag toch tegen jou zeggen: ‘Ik weet dat je naar Londen wilt vliegen, en ik heb gezien dat Ryanair vluchten daarheen aanbiedt voor XXX euro’?

      En waarom zou dat dan niet automatisch mogen? Dat is toch puur het delen van objectieve info.

      Arnoud heeft het er vaak over dat data onbeschermd is. Dit is nu juist een schoolvoorbeeld van data.

      Gaan nu de aandelenkoersen en de voetbaluitslagen ook op slot?

    • Waarom kan een supermarkt zonder “algemene bezoekersvoorwaarden”, maar meent een website daar pagina’s en pagina’s HTML voor nodig te hebben? En wat kan/mag een website redelijkerwijs afdwingen van de voorwaarden die ergens achter een link verstopt op de site staan? De gemiddelde gebruiker ziet niet eens dat er voorwaarden aan het websitegebruik gesteld worden en voor de oplettende gebruiker komt de mededeling te laat.

              • @Mathfox: NP kan ongetwijfeld voor zichzelf antwoorden, maar de kern is dat de prijzen in real time veranderen, dus als je actuele data wilt hebben, moet je ook in real time de data verzamelen.

                @NP Je hebt wel een punt, de schade voor Ryanair is dat ze veel krachtiger IT infrastructuur moeten hebben dan anders het geval zou zijn. Maar dan nog… ze krijgen er ook een gratis verkoopkanaal bij.

                Op IPkitten werd gespeculeerd dat advertentie-inkomsten op basis van echte bezoekers een bron van inkomsten zijn, en dat Ryanair daarom wil dat perse iedereen de echte officiele site bezoekt.

                Daar zit ook wel een legitiem belang in, enerzijds, maar als je businessmodel is gebaseerd op het lastigvallen van mensen met reclame ipv het verkopen van vluchten (waardoor die mensen ook weer extra bandbreedte moeten kopen etc) verdien je bij mij weinig medelijden.

                • @Mathfox: als je dat bedoeld, is het inderdaad zoals cg zegt dat de prijzen (maar ook de beschikbaarheid!) constant veranderd en je dus real time zal moeten opvragen anders is je tool waardeloos.

                  @cg: Ze krijgen er dus niet een gratis verkoopkanaal erbij want ze hebben die extra hardware nodig ;). Maar belangrijker vind ik dat de ondernemer zelf moet kunnen bepalen of hij in die prijsvergelijker komt. Zorg er als vergelijker maar voor dat je zo goed wordt dat Ryanair je komt smeken of ze er ook aub in mogen.

                  Let wel, het gaat hier niet om consument vs bedrijf, de prijsvergelijker is óók gewoon een bedrijf wat uit is op winst. Dat is ook prima maar zorg dan voor je eigen zaken, als een andere ondernemer niet mee wil werken dan houdt het op. Ik zie écht niet waarom dat wel zou moeten.

                • Hmm, ook de vergelijkingssites hebben een businessmodel dat gebaseerd is op het lastigvallen van mensen met reclame. Sterker: 95% van alle websites hanteert dat model. IusMentis is geen uitzondering (maar gelukkig wel bescheiden en alleen voor zijn eigen reclame, niet voor die van anderen. Dat houdt het pruimbaar 😉 )

            • Wat een bot kan namens een eindgebruiker, kan ook via een script dat draait in de browser van de eindgebruiker. Dergelijke scripts hoeven zich niets van robots.txt aan te trekken en zijn ook lastig te blokkeren op de target website. Ik zie niet in waarom het opzoeken van informatie voor een gebruiker zo’n kwalijke actie is.

            • Als een prijs niet zo woest fluctueert is een bezoekje van een bot echt niet zo frequent nodig. Het belang van de site is eerder dat ze de consument willen kunnen tracken en dan na een aantal orienterende bezoekjes van de consument de prijs opeens verhogen als er geboekt gaat worden. Dynamic pricing tegengaan is in het belang van de consument. Natuurlijk kan de site owner proberen bot te blokkeren, maar kijk dan niet raar op als de site dat gevecht gaat verliezen.

      • Zie jij een verschil tussen een gebruiksvoorwaarde “Verboden te scrapen” en een gebruiksvoorwaarde “Verboden te recenseren”?

        Ja ik kan wel verschillen bedenken recenseren is een journalistieke handeling en die hebben een groter maatschappelijk belang.

        Ook is recenseren is dat een meningsuiting die bescherm wordt door de vrijheid van meningsuiting die je niet met zo’n voorwaarde mag inperken terwijl het scrapen van data volgens mij niet echt een meningsuiting is.

    • Dat vind ik onzin. Als je als website iets publiceert, is het openbaar en voor iedereen te lezen. Als je dat niet wil, moet je bezoekers verplichten in te loggen om iets te kunnen zien.

      Robots.txt is daar ook niet voor bedoeld. Het is bedoeld om content die voor zoekmachines en andere scrapers interessant is, te scheiden van content die voor reguliere bezoekers bedoeld is. Bijvoorbeeld om ze, als je een serie opeenvolgende formulieren in je bestelproces hebt, niet verder dan het eerste formulier te laten komen.

      • Robots.txt is bedoeld om robots te laten weten waar ze wel en waar ze niet mogen komen. Het is nu nog aan de robot om te bepalen of hij zich daar aan houdt of niet. Wat mij betreft krijgt het dezelfde status als een bordje verboden toegang.

        En waarom eigenlijk niet? Waarom mag ik als eigenaar van een server niet bepalen dat er géén robots op mogen? Of geen vervelende robots? Wat is het grote maatschappelijke belang dat alles maar moet mogen?

        Als ik in mijn winkel koffie neer zet voor klanten en er komt een groep elke dag koffie drinken dan mag ik ze toch ook vragen om weg te blijven?

        Als ik een site maak voor klanten dan wil ik daar klanten op hebben en geen bots die niets kunnen kopen. Natuurlijk kan het heel zinvol zijn om wél bots toe te laten omdat je daarmee (nieuwe) klanten kan trekken maar dat is een beslissing die de ondernemer mag maken en niet iemand anders.

  3. Ik vind het knap dat Ryan air heeft kunnen bewijzen dat het PR aviation was die aan het scrappen was. iig in de e-comemrce sector waar ik nu werk is het spideren en “anti-spideren” een wedloop tussen webshops. En alhoewel mensen uiteraard altijd vermoedens hebben over welke “spider” nu bij welke andere web winkel hoort, lijkt het me toch lastig te bewijzen.

      • en dus gescraped moeten zijn
        Dat is een beetje kort door de bocht. Die gegevens kunnen ook met de hand van de site zijn gekomen, of via een tussenpartij. Bewijzen dat gegevens alleen van jouw site gekomen kunnen zijn lijkt me heel lastig. Die gegevens staan vast bij RyanAir ook niet alleen op die plek.

        Als ik naar de gebruikersvoorwaarden van RyanAir kijk:

        3. Toegestaan gebruik. Deze website mag uitsluitend voor private, niet commerciële doeleinden worden gebruikt. Het gebruik van software of enig geautomatiseerd system om informatie van deze website te verkrijgen (”screen scraping”) is verboden. Ryanair behoudt zich het recht voor om alle maatregelen te nemen die zij nodig acht in geval van overtreding van dit verbod. Hieronder begrepen het nemen van rechtsmaatregelen zonder nadere aankondiging.
        Dan zou PR Aviation al bij het stukje over private, niet-commerciële doeleinden gestopt moeten worden. Als deze voorwaarden binden zijn dan hoeft een rechter niet verder te kijken dan dat. Tenzij dat onredelijk bezwarend is? Dan pas kom je op het stukje over screen scraping.

        Is er een juridische definitie van screen scraping? Als “het gebruik van software” al genoeg is om aan die definitie te voldoen, dan mogen browsers ook niet. Tijd om m’n IP Datagrams on Avian Carriers skillz weer op te poetsen. Overigens, wat ze bedoelen is eigenlijk “web scraping”. “Screen scraping” gaat meestal uit van een visuele bron zoals een framebuffer oid.

        • Die gegevens kunnen ook met de hand van de site zijn gekomen, of via een tussenpartij.

          Dat maakt niet uit als de site maar aantoonbaar de bron van de gegeevens is. Het is niet zo dat het gebruik van een een tussenpartij het ineens wel acceptabel maakt.

          Anders kon PR Aviation hun scrapersoftware even ‘doorverkopen’ aan een scrapechinees en vervolgens van die partij de data binnenhengelen.

          • Het ging me meer om jouw gebruik van het woord “dus”. Je claimt eigenlijk dat scrapen de enige manier is om aan gegevens van een bepaalde site te komen, en dat is dubieus. Vandaar dat ik later naar een definitie van scrapen vraag, want wat doet een browser eigenlijk anders dan het scrapen van de gegevens die hij via een HTTP request binnen krijgt? Is het wel scrapen als ik telnet gebruik maar niet als ik firefox gebruik, en curl of wget? Afhankelijk daarvan heb je gelijk dat scrapen wellicht de enige methode is om informatie van een website te verkrijgen (maar dat zal vast niet zijn wat je bedoelde).

            Maar eigenlijk is mijn hoofdargument nog steeds dat in de voorwaarden staat dat de site alleen privé en voor niet-commerciële doeleinden gebruikt mag worden. Is zo’n voorwaarde rechtsgeldig? Zo ja dan hoeven we het niet eens meer te hebben over de specifieke methode waarop de informatie van de site verkregen wordt.

  4. Het is de paradox van de vrije markt dat je continue moet ingrijpen en reguleren om de markt vrij te houden. Transparantie en een goede balans in beschikbare kennis is essentieel voor het efficient functioneren van een markt. Ik zou er dan ook voor willen pleiten dat het aanbieden van heldere prijs-informatie zonder restricties een wettelijke verplichting danwel een vereiste voor het verkrijgen van een vergunning wordt. Wat mij betreft schrijven de autoriteiten een standaard formaat voor, en moeten alle prijzen daarin gepubliceerd worden op een site de zonder contract-beperkingen kan worden geraadpleegd.

    In de transportbranch worden continue allerlei truukjes gebruikt om de transparantie van prijzen te ondermijnen (hoge prijzen voor allerlei bijkomende zaken waar je als klant nooit om gevraagd hebt, zoals het printen van een instapkaart; onduidelijke prijzen voor extra-baggage, met daarbij steeds wisselende maten voor de koffer die je mee mag nemen, enz.).

  5. In de transportbranch worden continue allerlei truukjes gebruikt om de transparantie van prijzen te ondermijnen
    RyanAir is hier berucht om, al moet ik zeggen dat ik het de laatste tijd beter vind geworden (wellicht vanwege de constante negatieve berichtgeving). DarkPatterns.org heeft een aardig filmpje over hoe sneaky sommige websites zijn (vanaf +- 9:45 gaat het over RyanAir).

  6. Is er uberhaupt een principe dat je dingen die auteursrechtelijk niet beschermd zijn, niet contractueel mag beschermen tegen verspreiding, of scrapen? Of anders onder het databankrecht? Bestaat negatieve reflexwerking van zulke rechten uberhaupt – en dan niet mededingingsrechtelijk, want die vraag werd niet aan het Hof voorgelegd. Kortom, nu geschriftbescherming is afgeschaft, wat had beginsel kunnen zijn op grond waarvan die onbeschermde geschriften niet contractueel beschermd kunnen worden – vanwaar de “argh”? Mis ik een basaal beginsel?

    • Niet echt. Er is een rechtsbeginsel dat informatie vrij is tenzij beschermd door een IE-recht of oneerlijke mededinging, maar dat gaat niet zo ver dat je mensen kunt verplichten je iets te vertellen. Negatieve reflexwerking dus maar in beperkte mate.

      Ik vind het argh ergerlijk omdat het in déze specifieke situatie tot een zeer onbillijk resultaat leidt, namelijk dat de maatschappelijk nuttig en wenselijke prijsvergelijkers niet goed meer kunnen functioneren.

  7. Hoe verhoudt dit zich met het William Hill-arrest? Als de onbeschermde paardenrenuitslagen voorzien zijn van een melding “Er mag niet gescraped worden”, zou de uitspraak van de rechter dan anders moeten zijn? (Tenzij de scrapende partij aantoont dat de gegevens door medewerkers worden overgetypt).

  8. Vergelijkingssites maken ranglijstjes op basis van zoekdoelen en vermelden die op de lijst. Dat is makkelijk voor de klant/bezoeker die gelijk (globaal) weet hoeveel hij moet betalen. Of hoe lang een reis van A tot Z duurt. Maar men kan een ranglijst zonder die nadere informatie opstellen. Dat is vervelend voor de klant/bezoeker, maar niet onoverkomelijk. Het merk ryanair op bijvoorbeeld plaats 14 zonder nadere gegevens nodigt de klant niet uit tot spontaan boeken of nader onderzoek te doen naar prijs en voorwaarden met 13 goedkopere aanbieders met wel prijsvermelding voor zich.

    Maar er is wel iets te zeggen voor het opnemen van zo’n verbod door bedrijven: vergelijkingssites zijn zelf niet allemaal even transparant, volledig en betrouwbaar in resultaat en doen en laten. Soms, na onderzoek op de website van de originele aanbieders zelf vraagt men zich in gemoed af: hoe komen ze aan die rangschikking, dat resultaat, die korting, die gebruiksduur of waarom staat die aanbieder er niet tussen… Potentiële klanten contractueel onthouden van essentiele informatie op vergelijkingssites is bedenkelijk, maar evenzo is dat de soms manipulatieve benadering en behandeling van aanbieders door vergelijkingssites, die soms zelfs juridisch eigendom zijn van concurrerende aanbieders in dezelfde branche. Kortom, kip of ei, de consument zal toch altijd nog zelf moeten nagaan op de website van de originele aanbieder. Vergelijkers zijn slechts een indicatie, en sluiten bovendien hun aansprakelijkheid voor het eigen produkt steevast uit.

  9. Een goed stuk Arnoud!

    Maar hoe doen Zalando en andere platforms dit dan? Ik heb vernomen dat zij niet van alle leveranciers toestemming hebben om productafbeeldingen en beschrijvingen te laden. Hoe kun je dit oplossen? Ik neem aan met hyperlinks of embedden, maar dan zit je toch nog steeds met databankrechten?

    Dank en groet, Andre

Laat een reactie achter

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren en <em> en <strong> voor italics en vet.

(verplicht)

Volg de reacties per RSS