Tesla-topman Musk krijgt niet zijn zin over rechtszaak van Twitter

mohamedhassan / Pixabay

Goeie kop van Nu.nl, want het laat de kern zien van waar deze rechtszaak over gaat: Musk heeft ideeën en wil dat iedereen daarin meegaat. De oprichter en CEO van Tesla wilde de zaak vooruitschuiven tot februari volgend jaar, maar de rechtbank in Delaware gaat daar niet in mee. En dat is interessant, het is een signaal dat de rechtbank het niet wil gaan hebben over hoe veel bots er precies zijn op Twitter of wat dat doet met de beurswaarde. Bij zo’n discussie heb je experts en onderzoek nodig, en dan kom je wel in februari uit. Als we in augustus al inhoudelijk gaan discussiëren, dan gaat het dus over “u heeft getekend, waarom betaalt u niet.”

In april maakte Musk bekend het spambot-probleem van Twitter te gaan aanpakken: hij ging Twitter kopen en zou ze allemaal opruimen, zoals ik vorige keer blogde. Nadat hij een “best and final offer” had gedaan en afgezien had van due diligence, tekende hij een koopcontract. Om er vervolgens boos over te worden dat Twitter onduidelijk was over het aantal bots, zelfs zo erg dat hij van de koop af wilde (“on hold” zetten). Dat leidde dus tot een rechtszaak door Twitter: je hebt getekend, je gaat ons kopen, betalen mannetje. (Dit omdat dat het beste voor de aandeelhouders is.)

Musk reageerde onder meer met de suggestie dat dit betekende dat Twitter nu volledige openheid van zaken moet geven over het aantal bots. Dit suggereert dat Twitter hem heeft voorgelogen, of misschien zelfs tegenover aandeelhouders en de beurstoezichthouder SEC heeft gelogen over hoe veel bots er zijn. Laten we eens kijken wat Twitter nu precies gezegd heeft:

[T]here are a number of false or spam accounts in existence on our platform. We estimate that the average of false or spam accounts during the first quarter of 2022 continued to represent fewer than 5% of our mDAU during the quarter.
Dat klinkt vrij stevig: we schatten dat het aantal nepaccounts (zeg maar de bots) 5% is. Maar ik hoor de juristen achterin nu al mompelen dat dit een boterzachte uitspraak is, “we estimate” is natuurlijk een vrij subjectief criterium. Dan had er “we are confident” moeten staan. Verder wil iemand op rij 2 weten wat “mDAU” precies is:
We define mDAU as people, organizations, or other accounts who logged in or were otherwise authenticated and accessed Twitter on any given day through twitter.com or Twitter applications that are able to show ads, or paid Twitter products, including subscriptions.
De monetizable daily active users dus, de gebruikers die minstens eens per dag inloggen op een manier dat ze advertenties te zien krijgen. Dat zijn de gebruikers waar je de omzet mee maakt, dus daar focust Twitter op. En stel dat 90% van de overige gebruikers een bot is, dan heeft Twitter dus niet gelogen met haar uitspraak. Want ze doen alleen een uitspraak over de mDAU, niet over het gehele bestand.

Verder, hoe ziet die estimate eruit?

However, this estimate is based on an internal review of a sample of accounts and we apply significant judgment in making this determination. As such, our estimation of false or spam accounts may not accurately represent the actual number of such accounts, and the actual number of false or spam accounts could be higher than we have currently estimated.
“Significant judgment” is zeg maar juristentaal voor je onderbuik, ze pakken een willekeurige groep accounts uit de mDAU, kijken naar wat willekeurige tweets en gedrag van die accounts en gokken dan of dat botgedrag is of menselijk gedrag. Dat is het. Mag dat? Ja dat mag, er is geen officiële benchmark om bots op je platform te meten, en Twitter zegt hier vrij duidelijk “we doen maar wat en het lijkt redelijk maar het kan compleet fout zijn”, dus als investeerder weet je dan waar je aan toe bent. Volkomen kansloos dus om hieruit te concluderen dat Twitter liegt.

Dit staat er dan in de brief van Musk’s advocaat:

Twitter also represents that no more than 5% of these accounts in a given quarter consist of false or spam accounts, and claims to remove them from its mDAU count. [verwijzing naar hetzelfde SEC document]
Dat is dus juridisch onjuist: “to represent” is een vrij harde toezegging, een aanduiding van iets dat je als vaststaand feit brengt. Maar wat Twitter zegt, is dus niet meer dan “wellicht misschien we denken van wel maar wie weet”.

Waar de kern volgens mij in zit, is iets verderop:

In a May 6 meeting with Twitter executives, Musk was flabbergasted to learn just how meager Twitter’s process was. Human reviewers randomly sampled 100 accounts per day (less than 0.00005% of daily users) and applied unidentified standards to somehow conclude every quarter for nearly three years that fewer than 5% of Twitter users were false or spam. That’s it. No automation, no AI, no machine learning.
Gezien Musk’s profiel snap ik wel dat hij dacht dat ze bij Twitter knettergek waren: je kijkt met de hand naar 100 accounts, en zonder enige formele criteria plakt iemand er dan “bot” of “mens” op en dat is het dan. Niet eens een machine learning proces of algoritmische ondersteuning. En nou ja, ik vond het ook niet helemaal een topkwaliteit analyse, laat dat duidelijk zijn. Maar het punt is: hier erkent de advocaat van Musk dus dat Twitter doet wat ze tegen de SEC heeft gezegd.

Het heeft dan geen enkele zin om een beter algoritme te maken om bots te herkennen, want daarmee ontkracht je niets van dat Twitter gezegd of gedaan heeft. Het heeft om diezelfde reden ook geen enkele zin om onderzoek te doen naar de bot-metrics van Twitter, of wat betere technieken waren geweest, want ook dat weerlegt op geen enkele manier de mededeling van Twitter. Zij hebben zo gewerkt, ze hebben niet gezegd dat het perfect was, niets is gelogen.

Arnoud

17 reacties

  1. Met honderd accounts per dag checken kun je trends in de orde van ±1% per week niet goed vaststellen. Maar als je ieder kwartaal kijkt naar 6500 accounts (honderd per dag op werkdagen), dan komt ±1% statistisch gezien wel in zicht. Probleem blijf hoe je “spam account” definieert en hoe je handmatig vaststelt of een account tot die categorie behoort. (Kies he voor de definitie “spamaccounts zijn die die we handmatig zo herkennen” dan is de case van Twitter waterdicht.)

  2. Het feit dat iemand denkt dat het ook maar iets uitmaakt dat ze maar 0.00005% van de daily users per dag bekijken heeft ofwel geen verstand van statistiek of hoopt dat zijn publiek dat niet heeft. De kwaliteit van een steekproef heeft namelijk niets te maken met hoeveel procent van het totaal je bekijkt, alleen met hoeveel gevallen je in totaal bekijkt (en dat je een representatieve steekproef neemt). 100 is overigens niet voldoende om een goede steekproef te hebben, maar 3000 (aantal per maand) wel.

    Verder is een mens die ergens naar kijkt nog altijd vaak een stuk correcter dan een AI. Het grote voordeel van een AI is dat die AI veel meer accounts kan bekijken, maar dat is dus (vanuit de statistiek gezien) niet nodig.

    1. Ik zie je punt, en ik denk ook dat Twitter veel meer en veel beter zou kunnen zoeken naar bots. Maar voor deze rechtszaak maakt dit dus niet uit, want geen enkele wet of regel eist dat Twitter een representatieve steekproef neemt of wat dan ook. “We doen maar wat” is bij dit aspect juridisch in orde, zolang je maar wat doet.

  3. Enige leugen zou kunnen zijn dat ze -ook- via betere manieren bot-herkening doen die wel heel erg andere cijfers laat zien. Wellicht is dat dan alsnog als misleiding te verkopen.

    In Modderkolk’s ‘Het is oorlog en niemand die het ziet’ werden overigens verbazingwekkend lage aantallen bots genoemd om ‘effectief’ te zijn. Wat dat betreft is 5% niet eens per se weinig. Zeker als alle lurkers ook meetellen.

    We define mDAU as people, organizations, or other accounts who logged in or were otherwise authenticated and accessed Twitter on any given day through twitter.com or Twitter applications that are able to show ads, or paid Twitter products, including subscriptions.

    Aha, daarom vereisen ze tegenwoordig ook voor lezen een account. Dat verwatert heerlijk de bot-percentages. Ik dacht tot nu toe dat het vooral was om (hogere account-aantallen te tonen aan investeerders en) om ons effectiever te kunnen tracken voor ads.

  4. je kijkt met de hand naar 100 accounts, en zonder enige formele criteria plakt iemand er dan “bot” of “mens” op en dat is het dan.

    Ik denk dat Twitter wel tools heeft om automatisch bots te detecteren, maar die accounts sluiten ze dan toch? Blijft over dat ze willen schatten hoeveel er de dans ontspringen, en dat moet wel handmatig: als dat automatisch kon dan zouden ze al verwijderd zijn.

  5. [T]here are a number of false or spam accounts in existence on our platform. We estimate that the average of false or spam accounts during the first quarter of 2022 continued to represent fewer than 5% of our mDAU during the quarter.
    We define mDAU as people, organizations, or other accounts who logged in or were otherwise authenticated and accessed Twitter on any given day through twitter.com or Twitter applications that are able to show ads, or paid Twitter products, including subscriptions.
    Twitter zegt dus alleen iets over adverteerderrelevante accounts, verhouding bots vs mens/bedrijf. Twitter zegt niets over die verhouding bij de getoonde advertenties (lijkt me relevant voor adverteerders) en niets over die verhouding bij het totaal aantal accounts of totaal aantal tweets (lijkt me relevant voor gebruikers voor de betrouwbaarheid van Twitter).

    Stel nu dat Musk interne correspondentie van Twitter heeft waar die informatie wél in staat, en deze beursrelevante informatie is niet gedeeld met aandeelhouders of SEC. Zou Musk dan wel een zaak hebben?

    1. Er is geen plicht om te melden wat de verhouding bots/mens is bij getoonde advertenties, dus Twitter heeft geen plicht nagelaten jegens de SEC. Je zou verwachten dat als adverteerders dit relevant vinden, ze erom vragen – en dan zou Twitter die kennis denk ik wel in hun SEC filings opnemen want dat is bewijs dat het material informatie is.

      Het verschaffen van onjuiste informatie aan de SEC is een probleem tussen Twitter en de SEC (en mogelijk de aandeelhouders). Indirect is het voor het contract relevant: als Twitter onjuist heeft verschaft naar de SEC én juiste informatie had de waarde van Twitter materially aangetast, dan is dat een contractbreuk. Maar let op die én, Musk moet dus bewijzen dat het geven van de juiste informatie tot zeg maar een ineenstorting van de beurskoers van Twitter zou leiden of tot massaal afhaken van adverteerders.

      Ik ben daar skeptisch over: als adverteerder zie je wat je terugkrijgt voor wat je betaalt. Ik verkoop 150 boeken per maand dankzij Twitter-advertenties, dat kan ik meten. Als ik tevreden ben over die return on investment, en achteraf blijkt dat 80% van de advertentie-kijkers een bot was, waarom zou ik dan ineens ontevreden worden? Ik heb toch nog steeds 150 boeken verkocht?

  6. Er is toch iets vreemds met de definities van Twitter:

    [T]here are a number of false or spam accounts in existence on our platform. We estimate that the average of false or spam accounts during the first quarter of 2022 continued to represent fewer than 5% of our mDAU during the quarter. We define mDAU as people, organizations, or other accounts who logged in or were otherwise authenticated and accessed Twitter on any given day through twitter.com or Twitter applications that are able to show ads, or paid Twitter products, including subscriptions.

    Voor mij lijkt het alsof ze het TOTALE aantal spamaccounts definieren als minder dan 5% van het DAGELIJKSE aantal gebruikers. Dat is appels met peren vergelijken.

    Dat is alsof je het aantal jeugdleden van de pingpongclub rapporteert als percentage van het totale aantal leden dat op een gegeven dag kwam pingpongen. Een volledige nietszeggende waarde.

    Als dus, bijvoorbeeld, de gemiddelde echte twitter gebruiker eenmaal per drie dagen twitter gebruikt (en ik denk dat het nog veel minder is wegens vele halfslapende accunts), zou, bij de genoemde waarde van 5% van de mDAU, dit betekenen dat slecht een derde van 5%, dus 1.7% van de accounts ‘vals’ is.

    Ik geloof ik nooit dat dat waar is. Het lijkt mij dat Twitter hier vast komt te zitten in een zelfgekozen bijzondere definitie. Misschien heeft Musk dit ook ingezien en probeert hij die fout uit te buiten (en misschien begrijp ik het verkeerd, dat kan ook, maar ik heb er inmiddels meermaals naar gekeken en kan niet tot een andere conclusie komen)

    1. Ik ga er van uit dat spambots niet slapen en dan is de verhouding die Twitter ziet wel relevant. Bij 95% van de actieve accounts wordt de advertentie naar een mens gestuurd. (Of die mens dat dan ook ziet is weer een ander verhaal…)

    2. Zo had ik het nog niet gelezen. Ik haalde er altijd uit “van de MDAU is minder dan 5% een spambot”, en dat wil ik best geloven. Ik had alleen wel verwacht dat de advocaat van Musk dat ondertussen als argument naar voren had gebracht, gezien de status van de rechtszaak.

    3. Het statement spreekt in het geheel niet van een totaal aantal nep-accounts. Het zegt “Er bestaan nep-accounts op ons platform. Volgens onze inschattingen vormden zij in het eerste kwartaal van 2022 opnieuw minder dan 5% van de dagelijks actieve gebruikers.”

      Ongetwijfeld zal onder het aantal gebruikersaccounts van Twitter een aanzienlijke hoeveelheid ‘slapend’ zijn; mensen die wel een account hebben om te lezen, anderen te volgen, het ooit eens uitgeprobeerd hebben, een keer een webcare wilden benaderen, of die ééns in de zeventien maanden een tweet plaatsen. Zo zullen er ongetwijfeld ook redelijk wat accounts zijn van bots die nog niet/niet meer geactiveerd zijn, of niet actief posten (wellicht alleen aggregeren of tracken).

      Het zal lastig zijn die te identificeren, en wellicht zijn die ook niet heel relevant in het vraagstuk hoeveel bots Twitter heeft; je wilt doorgaans immers weten hoeveel daadwerkelijke actieve gebruikers het platform heeft, hoeveel daarvan bots zijn en hoeveel berichten zij op het platform plaatsen, niet zozeer hoeveel van de in totaal geregistreerde accounts ‘echt’ zijn of niet. En de (accuratesse van) de meetmethode even terzijde, voldoet het bovenstaande daar wel aan.

      1. Nee

        Er staat niet dat zij minder dan van 5% van de dagelijks actieve gebruikers vormden. Er staat dat het gemiddelde [aantal?, percentage?] valse accounts minder is dan een bepaald aantal (namelijk 5% van het aantal totaal aantal gebruikers op een gemiddelde dag)

        Dan zeggen ze ook nog ‘As such, our estimation of false or spam accounts may not accurately represent the actual number of such accounts, and the actual number of false or spam accounts could be higher than we have currently estimated.’

        Het gaat volgens mij dus wel degelijk om een aantal valse accounts.

        Wat denk jij dat zegggen? Het aantal valse account is minder dan 5% van het totale aantal accounts? Het aantal actieve valse accounts is minder dan 5% van het totale aantal actieve accounts op een gemiddelde dag? Of iets anders?

        Volgens mij zeggen ze: Het aantal valse account is minder dan 5% van het totale aantal actieve accounts op een gemiddelde dag? Ik geloof best dat ze dat niet wilden zeggen, want het is een betekenisloos getal.

          1. Ja, dat aspect ‘denken wij’ en ‘wie weet hoe het echt zit’ blijft.

            Dat andere:Je kunt inderdaad twee kanten op redeneren. Ik weet natuurlijk ook niet wast juist/bedoeld is, maar het verbaast me dat het (ongetwijfeld grote, dure, ervaren) juristenteam van Twitter zo’n onduidelijk statement opschrijft.

            In NL zou je inderdaad kunnen zeggen: ‘zo is het bedoeld’ maar ik weet niet of Delaware-recht evenveel mogelijkheden biedt (ik heb altijd het gevoel dat er de US minder aan interpretatie/bedoeling gedaan wordt en meer belang wordt gehecht aan de letterlijke betekenis)

        1. Ik ben het niet eens met je lezing.

          Nergens in dat stuk tekst wordt gerefereerd naar het totale aantal accounts op Twitter; er wordt alleen verwezen naar de hoeveelheid dagelijks actieve gebruikers. Dat de genoemde “average of false or spam accounts” in dezelfde eenheid moeten worden gelezen, lijkt me vrij redelijk.

          Het is ook niet zo zinvol om naar het totale aantal accounts op Twitter te kijken. Als je 100 miljoen accounts hebt, waarvan er 30 miljoen één keer ingelogd hebben en nooit iets hebben gedaan, kun je moeilijk vaststellen of het gaat om bots of echte gebruikers, en is het ook wat misleidend om van ‘gebruikers’ te spreken. Twitter kijkt daarom naar het aantal gebruikers dat dagelijks actief is, en stelt het aantal valse of spam-accounts als een percentage daarvan. De ene dag is dat blijkbaar wat meer dan de andere dag, maar gemiddeld over een langere periode is dat dan onder de 5% (volgens hun methode).

          1. Ja, jouw interpretatie kan ook .

            Misschien ben wat op het verkeerde been gezet doordat ik mDAU las als aantal ‘echte’ gebruikers. Immers: aan valse accounts kun je niets verdienen, dus die zijn per definitie niet ‘monetizable’.

            Als je mDAU leest als (echte + valse), dan wordt jouw interpretatie een stuk waarschijnlijker.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.