Een lezer vroeg me:
Apple heeft laten weten dat ze een bug in iOS 15 ontdekt hebben die ervoor zorgde dat Siri-opnames met Apple gedeeld werden. Dit ook wanneer je in de instellingen had gezegd dat dit niet mocht. Kan de politie deze opnames opvragen en tegen je gebruiken, ondanks dat ze onrechtmatig gemaakt zijn?Siri is Apple’s spraakbesturing met AI: het systeem herkent je vraag of instructie die je via spraak doorgeeft. Die herkenning zal niet perfect zijn, daarom is het nodig van tijd tot tijd de opnames af te luisteren om correcties aan het systeem door te voeren.
Probleem was dat die opnames natuurlijk persoonsgegevens bevatten, en die mag Apple niet zomaar verwerken zonder toestemming. Na een schandaal in 2019 waarbij Apple dit toch bleek te doen, werd een functie geïntroduceerd om het delen met Apple aan en uit te kunnen zetten.
Nu blijkt die functie niet altijd goed te hebben gewerkt, zodat Apple soms toch audio kon verwerken terwijl men nadrukkelijk had gezegd (met de aan/uit knop) dat niet te willen. In AVG termen is die opname dan onrechtmatig verwerkt, en moet audio en transcriptie verwijderd worden.
Maar goed, stel Apple is daar nog niet aan toegekomen en ondertussen komt er via de FBI een Nederlands rechtshulpverzoek tot afgifte van die opname. Apple werkt mee, en de politie krijgt de opname. Is die dan bruikbaar als bewijs?
Ja, eigenlijk wel. Natuurlijk hoorden we net het woord “onrechtmatig” en door Justitie onrechtmatig verkregen bewijs is niet bruikbaar, maar let op: de procedure om het bewijs (de opname) te verkrijgen was geheel rechtmatig. Een Nederlandse rechter-commissaris vond het goed, de FBI heeft naar Amerikaans recht getoetst; weinig tegenin te brengen.
Dat het bewijs het resultaat is van onrechtmatig handelen, is niet relevant. Dat zou hooguit maken dat Apple onder de AVG beboet kan worden bijvoorbeeld, of wellicht strafrechtelijk vervolgd voor het illegaal afluisteren van gesprekken.
Arnoud
Stel jij wordt hierdoor veroordeeld tot een geldboete, en dit zou niet mogelijk zijn geweest zonder deze audio-opnames. Zou jij dan een AVG zaak tegen Apple kunnen starten en het boetebedrag opvoeren als schadebedrag door de inbreuk van Apple? Aan de ene kant klinkt dit logisch, aan de andere kant is het maf dat jij een boete voor illegaal gedrag kan verhalen op een andere partij die niet mee deed aan het illegale gedrag waarvoor jij beboet bent.
Ik vraag me toch af wat je dan tegen zo’n apparaat zegt dat “tegen je” gebruikt kan worden. Ik kom niet verder dan: “zet het licht aan/uit”, “speel Spotify” en “laat mijn boodschappenlijst zien”. Het zou dan moeten gaan om zoekopdrachten, maar als die “gevoelig” zijn doe je dat natuurlijk niet via Siri of Google lijkt me. Of is de vraag puur hypothetisch?
Je zou malafide financiële afspraken kunnen maken met je mede-directeur en/of accountant. Of je kletst met je beste vriend over hoe je die ene vrouw gaat versieren, al dan niet met rohypnol in haar drankje. Dingen die mensen thuis bespreken en die met een opname tot een veroordeling kunnen leiden.
Maar Siri neemt toch niet alles op (en stuurt het door naar de US) wat het hoort, alleen opdrachten aan het? Of ben ik nu naief/loop achter?
Voor zover ik begrijp gaat het om het verbeteren van de ‘opdracht herkenning’ van siri. Daarvoor worden dan potentiele opdrachten verstuurd naar apple waarna een persoon beoordeelt of er daadwerkelijk sprake is van een opdracht of niet, om dat vervolgens weer als trainingsdata te gebruiken. En bij die potentiele opdrachten aan siri kunnen natuurlijk best zaken zitten die helemaal niet bedoeld waren als opdracht aan siri.
De ingebouwde aanname is dat Siri allereerst alleen opneemt nadat je “hey Siri” zegt, en herkenning daarvan zou heel robuust moeten zijn. En ten tweede dat alleen wat je daarna zegt, kan worden geanalyseerd.
Het blijkt echter zo te zijn dat het apparaat ook begint op te nemen als je iets anders zegt (een vals positief), zie hier voor voorbeelden. En dan wordt een fors stuk van het vervolg opgenomen, want dat is dan uiteraard geen herkenbaar commando. Voorbeeld: je heet Siri (een Noorse voornaam), je bent bezig met een rapport over Syrië of je oefent een boze toespraak over SyRI.
Jouw link verwijst niet naar voorbeelden vals positieve activatie, eerder naar mogelijke consequenties van het misbegrijpen van opdrachten. Maar geeft niet, ik snap wat je bedoelt.
Ik had echter altijd aangenomen dat die systemen verbeterd werden door algemene vooruitgang in voice-recognition door training op conversaties die daarvoor bedoeld/vrijgegeven/(of zelfs ontwikkeld!) zijn, niet door handmatig iemand te laten beoordelen of een gesproken tekst een commando bevat.
Hoe meer data, hoe beter. Vrijwel altijd wordt er dan ook getraind op productie-data, dingen die je “uit het veld” krijgt. Dat werkt vele malen beter dan geselecteerde trainingsdata van mensen die een dag naar het lab komen om daar in een keurige omgeving netjes te articuleren. Je wil juist iemand die met de stofzuiger aan en een huilende baby op de arm “hey sirie speel effe wat releksent gast” zegt.
De vraag is natuurlijk of het realistisch is te verwachten dat Siri werkt in dergelijke omstandigheden. Iedere technologie heeft zijn beperkingen.
Apple vindt van wel, daarom vergaren ze al die data. Voor een luxe consumentenproduct vind ik dat ook niet raar.
Ja, daaraan merk ik dat ik oud wordt (en niet geschikt ben als marketeer)
Dat er een dergelijke mogelijkheidt in een telefoon zit, waarbij je netjes moet articuleren in de standaardtaal en niet te snel spreken, in een relatief rustige setting, is op zich al mind-blowing, Star Trek in het echt, en daarmee heb je al 98% van de functionaliteit, waar je heel serieuze dingen mee kunt doen.
Wie heeft er ooit bedacht dat dat moet kunnen werken met een dronken dialectspreker in een disco die een doner-kebap wil bestellen? Ik zie dat eigenlijk als misbruik van op zich fantastische technologie. Paarlen voor de zwijnen!
Ze hebben wel nog steeds heel veel moeite met Schotse accenten ^_^ 12 jaar oude sketch: https://www.youtube.com/watch?v=MNuFcIRlwdc paar jaar terug: https://www.youtube.com/watch?v=XQCHoKAq9xA Dus het wordt wel beter.