Op het altijd zeer leesbare blog van auteursrechtadvocaat Bart Beuving deze keer een bijdrage over Informatieverzamelaars vs. Robots.txt. Er is veel te doen geweest over het scrapen van andermans site. Databankrechten, auteursrechten en zelfs de geschriftenbescherming werden van stal gehaald om te voorkomen dat slimme jongens ermet duur gemaakte databanken vandoor gaan.
Beuving bespreekt nu een vaak onderbelicht aspect: de robots.txt regels. Via dit bestand kan een sitebeheerder aangeven wat robots wel en niet geacht worden te doen op een site. Maar dat is puur een beleefdheidsnorm: robots kunnen immers net als elke browser elke pagina opvragen op een site, of dat nou “mag” van robots.txt of niet.
Kun je daar iets aan doen? Nee, betoogt Beuving terecht:
Op grond van de auteurswet is het onrechtmatig om ‘doeltreffende technische voorzieningen’ te omzeilen. In normaal Nederlands: onder meer het ‘kraken’ van beveiliging is niet toegestaan. Door de Nederlandse rechter is echter in de kwestie Web Measurement Services/Weborama (ziehier, AE) uitgemaakt dat het negeren van een robots.txt niet wordt beschouwd als het omzeilen van een technische voorziening is en dus ook niet onrechtmatig is.
Inderdaad. Robots.txt is een beleefdheidsnorm. Netiquette. Die norm schenden is inderdad niet netjes, maar je onfatsoenlijk gedragen is niet onrechtmatig. Trek eens de lijn naar de ‘echte’ wereld: wat zou er moeten gebeuren als een marktkraamhouder een bordje ophangt “Medewerkers van concurrenten mogen onze prijzen niet opschrijven om er zelf onder te gaan zitten”? Kan de ene marketman dan de andere aanklagen wegens negeren van het_bordje.txt? Ik mag hopen van niet.
Maar dan schrijft Beuving:
Aan de andere kant: het opzetten en instandhouden van een informatiewebsite vereist substantiële investeringen in de vorm van tijd en geld. Verdienen dergelijke investeringen niet een betere bescherming?
En daar ben ik het volstrekt mee oneens. Elke commerciële activiteit, en niet alleen het opzetten van informatiewebsites, vereist substantiële investeringen in de vorm van tijd en geld. Maar om nu enkel en alleen om die reden een exclusief recht op die activiteit te geven gaat mij veel en veel te ver. IE-rechten worden bijvoorbeeld pas verstrekt als je iets bijzonders doet: je hebt een uitvinding gedaan, een nieuw dessin ontworpen of een werk van letterkunde of kunst gemaakt. Daar kan ik nog wel een rechtvaardiging in zien (ook al blijkt die rechtvaardiging in de praktijk niet te kloppen). Maar het enkele hard werken, wat de Amerikanen sweat of the brow noemen (Feist), behoort geen rechten op te leveren.
Meer algemeen: informatie wil vrij zijn. Informatie gaat vrij zijn. Je kunt dus beter een businessmodel verzinnen waarbij je niet afhankelijk bent van het als enige bepaalde informatie aanbieden. Anderen zullen die van je overnemen. Je moet iets toevoegen. Je bent de eerste, of je selecteert het beste, of je sorteert het het handigste. Zoiets. Bij Marketingfacts verscheen onlangs nog het bericht dat FUnda haar marktaandeel terug aan het winnen is op sites als Miljoenhuizen en Jaap. Het gaat dus om kwaliteit en actualiteit niet alleen om aantallen advertenties.
En wat vinden jullie?
Arnoud
Ik ben het met je eens. Knap, trouwens, dat je een advocaat hebt gevonden die een uitspraak durft te doen over hoe de wereld zou moeten zijn in plaats van hoe hij is. 🙂
Je het_bordje.txt-vergelijking vind ik raar. In een robots.txt kun je geen voorwaarden van die aard formuleren, je kunt alleen bepaalde pagina’s voor bepaalde user-agents verbieden. Dat kan je vertalen naar gebieden en voertuigen, maar niet naar opgelegde prijsafspraken.
Ik zou het eerder vergelijken met een bordje “verboden op het gras te fietsen”.
User-Agent: Fiets Disallow: /gras
De vraag is dan volgens mij of je aan het verbod gehouden kan worden als je kwam aanfietsen op een plek waar je het bordje niet kan zien. Oftewel: of je verplicht bent om zelf het bestaan van het_bordje.txt, danwel robots.txt, na te gaan.
Juerd: wat vind je van
User-Agent: Super.[dD]e.[Bb]oer, Albert.* Disallow: /prijzen.cgi
?
Daarmee sta je bepaalde gebruikers niet toe om je prijzen te zien, en dat is een betere vergelijking dan je oorspronkelijke.
Mijn bezwaar tegen je vergelijking zit ‘m in “opschrijven” (wat op zich niet te maken heeft met bekijken of opvragen) en “om er vervolgens zelf onder te gaan zitten”, wat een bepaald gebruik van de informatie tegengaat. Dat geeft de indruk dat je heel wat expressieve vrijheid hebt in ’n robots.txt, wat niet zo is.