Schoolcomputer says no tegen ruilverzoek inschrijving, mag dat?

computer-says-noAmsterdamse scholieren die vanwege het matchingssysteem hun schoolplek wilden ruilen, mogen dit niet. Dat meldde Nu.nl vorige week, waarop ik diverse mails kreeg van lezers of dit een verboden gevalletje “computer says no” is. Amsterdam heeft namelijk een matching-algoritme ontwikkeld dat scholieren probeert te koppelen aan hun favoriete school, maar aan de uitkomst mag niet worden getornd, ook niet als je een andere scholier kunt vinden die met jou wil ruilen waardoor je beiden op je eerste keuze terechtkomt.

De voortgezet-onderwijsscholen in Amsterdam hebben gezamenlijk genoeg plaatsen voor alle achtstegroepers die de overstap naar de middelbare school maken, ook voor een aantal leerlingen uit omliggende gemeenten. Er bestaat echter al jaren een discrepantie tussen het aantal aanmeldingen en het aantal plaatsen per school, met name voor havo en vwo. Dat gaf veel onvrede bij leerlingen en ouders, vandaar dat besloten werd een nieuw algoritme te ontwikkelen.

In het nieuwe systeem moet je niet één voorkeursschool kiezen maar een lijst maken. Er wordt dan geprobeerd je zo hoog mogelijk op de lijst te zetten en om de pijn van de lotingen zo eerlijk mogelijk te verdelen door iedere leerling gelijke kansen te bieden. Dat viel tegen: na de eerste keer gebruik ontstond er weer veel onvrede, onder meer omdat leerlingen ineens hun vierde keuze hadden gekregen in plaats van de top 3, of omdat ze een school 17 kilometer verderop hadden gekregen.

Belangrijkste pijnpunt was echter dat minstens 400 leerlingen hadden ontdekt dat ze door onderling ruilen alle 400 hun eerste keuze hadden kunnen krijgen. Had daar dan niet even rekening mee gehouden worden? Nee, sorry, computer says no aldus de gemeente.

Of nou ja, er zat wel iets meer achter dan dat, zo blijkt uit het vonnis:

In de eerste plaats werkt het systeem dan niet consistent. Op dit moment is het zo dat het lotnummer of rangnummer dat een leerling voor een bepaalde school is toegekend bepaalt of hij of zij op een school komt. Ook de reservelijst is samengesteld op volgorde van lotnummers. Op die manier heeft iedere leerling voor iedere school gelijke kansen. Indien ruilen zou worden toegestaan zou de plaats van een leerling op de reservelijst weliswaar niet veranderen, maar het zou er wel toe kunnen leiden dat een leerling met een ongunstiger lotnummer een leerling met een gunstiger lotnummer passeert. Op die manier is er geen sprake meer van gelijke kansen. Zo zijn er leerlingen die toevallig geen aantrekkelijke plaats te bieden hebben, en leerlingen die zich tot op heden buiten de ‘ruilhandel’ hebben gehouden en genoegen hebben genomen met hun tweede of derde keuze, maar die wellicht ook zouden willen ruilen. Het toelatingssysteem voldoet dan niet meer aan de vereisten van consistentie en transparantie.

Ook heeft het systeem strategisch kiezen tot gevolg, en dat wilde men nu juist elimineren. Met strategisch kiezen verlies je het zicht op welke scholen nu écht aantrekkelijk zijn, en dupeer je zoals gezegd leerlingen die niet mee willen of kunnen doen (denk aan een leerling die net uit Brabant verhuist en nog niemand kent in Amsterdam om mee te ruilen).

Vanwege al deze redenen is het begrijpelijk dat de scholen dit nieuwe systeem willen en daarbij geen ruil willen toestaan. De rechter keurt het systeem dan ook goed, en de ouders zullen moeten accepteren dat hun kinderen niet naar de school van hun eerste voorkeur kunnen, ook al hád dat gekund met 200 ruilparen. Die mogelijkheid mag de gemeente uitsluiten in haar reglement, omdat daar een legitieme grond voor is.

En wat het stuk “computer says no” betreft: dat gaat (art. 42 Wbp) over geautomatiseerde beslissingen gebaseerd op “persoonsgegevens bestemd om een beeld te krijgen van bepaalde aspecten van zijn persoonlijkheid” oftewel profiling. Het is niet zo dat iedere automatische “no” strikt verboden is.

Meelezende wiskundigen: is er een systeem waarmee je wél 7.500 leerlingen allemaal in een school uit hun top 3 kunt plaatsen?

Arnoud

85 reacties

  1. is er een systeem waarmee je wél 7.500 leerlingen allemaal in een school uit hun top 3 kunt plaatsen

    Ik ben geen wiskundige, maar wel een developer en het antwoord is ja, MITS er wel genoeg verschillende top-3’s zijn. Als iedereen de zelfde top 3 kiest zijn er natuurlijk nooit genoeg plaatsen.

    Ik begrijp alleen nog steeds niet waarom men voor dit algoritme heeft gekozen, aangezien de kans dat je een school uit je top 3 krijgt drastisch kleiner is dan dat je probeert iedereen op zo’n hoog mogelijke plaats uit zijn/haar lijst te plaatsen.

    1. Niet als wiskundige, maar al econometrist was ik met stomheid geslagen toen ik las hoe het systeem werkt. Wat het systeem op zijn minst had kunnen doen is die 200 ruilen zelf al toepassen. De oplossing zal dan niet optimaal zijn, maar ontegenzeggelijk beter dan dit drama.

      Het ruilen door leerlingen ondermijnt het doel, maar als de gemeente zelf deze ruil al doet, dan wordt het doel niet ondermijnd. Wat dat betreft vreemd dat niemand geeist heeft dat de gemeente deze optimalisatie al uitvoerd.

      P.S. Gelukkig ben ik al jaren middelbare school af. Ik woonde in Amsterdam 5 minuten lopen van mijn middelbare school, ik had er toch wel flink de pest in gehad als ik opeens 17km verderop had gemoeten. Wat dat betreft ben ik meer voorstander van de Amerikaanse wijze van toewijzen. Je moet naar de dichtstbijzijnde school en pas als die vol is mag je naar één van de omringende scholen waar nog plaats is.

      1. Naar de dichtstbijzijnde school klinkt toch ook wel het meest logisch in mijn oren, ook wat betreft de drukte op de weg. Zeker in een drukke stad als Amsterdam wil je toch het liefste de verkeersdrukte zoveel mogelijk beperken?

  2. Als het inderdaad zo is dat 400 leerlingen door ruilen allemaal toegelaten hadden kunnen worden op de school van hun eerste voorkeur, terwijl ze nu naar een andere school moeten, dan deugt het gebruikte algoritme van geen kant. Dat zou immers de voorkeur eraan moeten geven twee leerlingen hun eerste keus te gunnen, boven diezelfde leerlingen beide hun derde (of lagere) keus op te dringen.

    Echter, ik kan me niet voorstellen dat dit echt het geval is. Ik kan het betoog van de gemeente (rechter?) technisch gezien niet volgen, maar als ik het goed begrijp zou het zo zijn dat door en dergelijke ruilactie andere leerlingen zouden worden gedupeerd. Met andere woorden: het gaat dan niet meer, zoals de ouders beweren, om een simpele ruilactie, maar om een ingewikkeldere transactie waar meer dan twee leerlingen bij zijn betrokken. En in dat geval geef ik de gemeente helemaal gelijk: daar moet je niet aan beginnen, want dan krijgen de ouders met de grootste mond alsnog de “beste” plekken voor hun zoon/dochter.

    1. Je snapt het niet. De manier waarop andere leerlingen “gedupeerd” worden door ruilacties is omdat de niet-ruilende leerlingen genoegen moeten nemen met een slechtere plek, terwijl de ruilende leerlingen ineens op betere plekken komen. En dat is “oneerlijk”, iedereen moet op een even slechte plek komen blijkbaar.

      De beschrijving klinkt alsof het algoritme helemaal niet is geschreven om een zo optimaal mogelijke verdeling te maken, maar om elke leerling dezelfde “eerlijke” kans te geven om op een “goede” school terecht te komen.

      Waar ze wel gelijk in hebben is dat, gegeven dat algoritme, het erg oneerlijk zou zijn om ruilen toe te laten. Maar de ouders hebben weer gelijk in dat het algoritme niet zorgt voor een optimale verdeling (waar elke leerling zoveel mogelijk de plek krijgt die hij/zij wil).

      1. Je hebt gelijk dat het algoritme niet zoekt naar een optimale verdeling, maar de boel zo “eerlijk” probeert te regelen.

        Het argument van de gemeente dat sommige leerlingen meer mogelijkheden hebben om te ruilen dan andere en daardoor eventueel een voordeel zouden kunnen behalen, is op zich geldig. Daarom zou het ruilen ook niet door de leerlingen gedaan moeten worden, maar door het systeem. Nadat een verdeling is bepaald, kan het systeem op zoek gaan naar paren leerlingen om te ruilen als dit een verbetering oplevert (of zelfs complexere ruil-systemen met 3 of meer leerlingen).

    2. Ik snapte ook niet zo waarom iemand die niet mee doet met een ruil gedupeerd kan worden maar in het vonnis staat dit;

      Een nadeel van DA is dat het niet Pareto efficiënt is. Dit wil zeggen dat nadat alle leerlingen geplaatst zijn er mogelijk koppels van leerlingen zijn die zouden willen ruilen zonder dat de scholen daar bezwaar tegen zouden hebben. Echter, als leerlingen weten dat ruilen is toegestaan nadat de plaatsing tot stand is gekomen, dan stimuleert dat strategisch gedrag. Het is dan optimaal voor leerlingen om populaire scholen hoog op hun voorkeurslijst te plaatsen. Als zij op één van deze scholen geplaatst worden, dan zijn er potentieel veel leerlingen die zouden willen ruilen. Het niet toestaan van ruilen is derhalve een beperking die nodig is om het voor leerlingen optimaal te laten zijn hun echte voorkeuren op te geven.

      Door ruilen toe te staan zal je in de toekomst dus voornamelijk een ruilsysteem krijgen ipv een plaatsingssysteem. Ik kan me hier wel in vinden.

      Feit blijft dat het raar is dat er gratis geruild kan worden door 400 personen waarbij er dus een meer optimale score uit komt. Dat geeft aan dat voor mij het algoritme gewoon niet klopt. Het zou als doel moeten hebben om een zo hoog mogelijke totaal score te krijgen en dat faalt hier.

      1. Tja, de paradoxen van de speltheorie… Het voelt misschien raar dat de uitkomst niet Pareto-efficiënt is, maar als je van te voren had geweten dat je achteraf mocht ruilen, dan had je waarschijnlijk anders (lees: strategisch) “gestemd”. Een lotingssysteem dat strategisch stemmen toestaat is waarschijnlijk nog veel onaangenamer dan één die niet gegarandeerd een Pareto-efficiënte uitkomst oplevert (want, zoals je al zegt, dan wordt het een ruilsysteem).

        De vraag is of er lotingssystemen zijn die én gegarandeerd een Pareto-efficiënte uitkomst opleveren én het onmogelijk maken om strategisch te stemmen. Ik vermoed dat dit of niet kan (lees: wiskundige gezien onmogelijk is), of dat zo’n systeem andere vervelende eigenschappen heeft. Zie bijvoorbeeld “Arrow’s impossibility theorem” (hoewel deze over net een anders soort stemsystemen gaat).

        1. Het Random Serial Dictator (RSD)-algoritme heeft die eigenschappen. Het is overwogen om dat algoritme te gebruiken, maar het schijnt een kleiner percentage mensen hun top-3 keuze te geven, en het schijnt een groter percentage mensen een heel slechte keuze te geven. Ik denk zelf dat het RSD-algoritme nog steeds het overwegen waard is, met name omdat Pareto-inefficiëntie zo ontzettend onrechtvaardig voelt.

      2. Ik lees ook dat de eisers in deze zaak graag hadden willen zien dat alleen dit jaar ruilen wordt toegestaan, maar niet noodzakelijkerwijs volgende jaren, zodat het systeem niet veranderd in een ruilsysteem. Dat lijkt me een beetje een vreemd argument. Je had dan namelijk al voor de loting kunnen bedenken dat – indien de loting niet gunstig voor je uitpakte – je achteraf naar de rechter zou stappen om het lotingssysteem te veranderen van “deferred acceptance” naar “deferred acceptance met ruil achteraf”. Dat levert je dubbel voordeel op: jij kan strategisch stemmen terwijl de andere dat juist niet doen. Het gebruikte lotingssyteem was van te voren bekend, dus als je het daar niet mee eens was had je voor de loting naar de rechter moeten stappen en niet achteraf.

  3. Geen wiskundige maar een informaticus:

    Nee, het is niet gegarandeerd mogelijk om een computersysteem te bouwen waarmee 7500 leerlingen allemaal hun top 3 krijgen. Neem bijvoorbeeld 1 uitzonderingssituatie dat iedereen dezelfde drie scholen in de top 3 heeft, en dat die drie scholen samen geen 7500 plekken hebben. Dan gaat het dus mis. Dit is het extreme geval, maar er zullen meer situaties zijn waarin het niet op gaat.

    Uit het voorbeeld blijkt duidelijk dat de huidige oplossing niet de optimale is, als twee leerlingen door ruilen allebei gunstiger uitkomen. Maar optimaliseren is juist iets wat computers goed kunnen.

    Wat bijvoorbeeld kan is dit: neem de uitkomst van het huidige algoritme als basisoplossing. Sorteer iedereen op volgorde van lotnummer. Maak dan een nieuw algoritme dat voor elke leerling kijkt of ruilen met een andere leerling voordelig is (op volgorde van lotnummer). Zo ja, ruil die om. Vervolgens doe je dat nog een keer voor alle leerlingen, want het zou best kunnen dat er nog meer voordelige ruilen mogelijk zijn. Dat herhaal je net zolang tot de iteratie geen ruilingen meer tot gevolg heeft. Dat zal waarschijnlijk binnen beperkt een aantal iteraties zo zijn, maximaal in de orde-grootte van het aantal scholen.

    Omdat je op lotnummer sorteert krijgen degene met het beste lotnummer de hoogste kans op een gunstige ruil, wat zorgt dat het eerlijk blijft.

    Dit algoritme programmeer je in een uurtje. Zelfs met de tijd die het kost om grondig te testen en in te bouwen in de software zou dit een beperkte invloed moeten hebben op de totale ontwikkelkosten van zo’n stuk software. Onbegrijpelijk dat de scholen hier niet beter op inspringen.

    1. Dat was ook mijn eerste reactie, met als toevoeging dat je ook bij mutaties met 3 of meer leerlingen zou moeten proberen of ze een pareto-verbetering vormen. Ik was dus ook boos toen ik over dit probleem las in het nieuws.

      De quote in Arnoud’s post heeft mij in laten zien dat er meer achter zit. Je wilt namelijk wel dat het algoritme transparant is (zodat je kunt controleren dat bijv. een dienstdoende ambtenaar geen voorkeursbehandeling geeft aan kinderen van familie en kennissen). Maar als je het door jou beschreven algoritme openbaar maakt dan werkt het niet meer: mensen zullen dan niet meer eerlijk hun werkelijke top-3 invullen, maar hun 1e voorkeur op plek 1, en op plekken 2 en 3 de scholen die bij anderen het meest populair zijn. Als jij dan in eerste instantie je 2e of 3e keuze krijgt, dan is op die manier de kans het grootst dat je geruild wordt met iemand die jouw 1e keuze kreeg toegewezen.

      Aan de andere kant: misschien is jouw systeem wel minder erg dan het huidige systeem, want de pareto-inefficiëntie van het huidige systeem wordt wel heel erg onrechtvaardig gevonden. Het is dan wellicht beter om te kiezen voor een systeem waarbij de uitkomst als geheel (utilitarisch gezien) minder optimaal is, maar de sub-optimale resultaten per individu in ieder geval het resultaat zijn van hun eigen poging om het systeem te misbruiken. Een sub-optimaal resultaat dat het gevolg is van je eigen handelen is veel minder erg dan een sub-optimaal resultaat dat het gevolg is van het handelen van anderen.

      1. Maar als je het door jou beschreven algoritme openbaar maakt dan werkt het niet meer: mensen zullen dan niet meer eerlijk hun werkelijke top-3 invullen, maar hun 1e voorkeur op plek 1, en op plekken 2 en 3 de scholen die bij anderen het meest populair zijn. Als jij dan in eerste instantie je 2e of 3e keuze krijgt, dan is op die manier de kans het grootst dat je geruild wordt met iemand die jouw 1e keuze kreeg toegewezen.
        Dat kan je misschien beperken door na de eerste lotingsplaatsing eerst te sorteren op de mensen die de slechtste matches gehad hebben bij die eerste loting en die te ruilen. Je hebt dan dus een loting die de eerste plaatsing bepaald en degenen die het meest getroffen zijn door de loting krijgen vervolgens de eerste ruilkansen.

  4. Wat mij enorm stoort in dit hele gebeuren is de stank van de zesjes cultuur wat uit het gebruik van dit beperkte algoritme spreekt. Het ruilen ‘achteraf’ wordt niet toegestaan omdat sommigen er slechter van worden, nee, het wordt niet toegestaan omdat niet iedereen er beter van wordt en dat wordt dan gerechtvaardigd met holle termen als ’tranparantie’. Daarom wordt voor de hele groep genoegen genomen met een bedroevend slecht resultaat. Werkelijk te triest voor woorden en het zoveelste voorbeeld waarom we in Nederland toch steeds maar niet in staat zijn om écht te pieken, het vertrouwen in ons systeem wordt hiermee al bij het begin van de middelbare school om zeep geholpen. Het achteraf ruilen zou als een vanzelfsprekende optimalisatieslag in het algoritme zélf moeten worden ingebouwd. Om het echt eerlijk te doen moet je het programma dan eerst laten uitzoeken op basis van de inschrijfvoorkeuren en beschikbare plaatsen wat voor elke voorkeur de slechtst mogelijke toewijzing zou zijn op basis van een ‘volledig eerlijke en transparante toewijzing…’ (kuch…), en neem dan zover mogelijk een ‘eerlijkheidsmarge’ door een 90% percentiel te nemen in plaats van worst-case, waarna tijdens die optimalisatie slag zoveel mogelijk gevallen worden verbeterd zonder dat anderen onder het vastgestelde minimum zakken (of er uberhaupt slechter van worden wat dus blijkbaar in dit geval ook kon).

    Wat ik trouwens nog mis in het geheel is dat in de uitspraak alleen wordt gekeken naar de statistische eigenschappen van enkele gangbare algoritmes, maar niet of er eigenlijk een heel ander algoritme met andere uitgangspunten zou moeten worden toegepast. Zoals ik hierboven al schreef ben ik daar zeer beslist voorstander van.

    1. Daarom wordt voor de hele groep genoegen genomen met een bedroevend slecht resultaat.
      Dit heeft niets te maken met uitblinken of pieken, het heeft er alles mee te maken dat sommigen, omdat ze bekend zijn in de stad of al vriendjes hebben daar, een voorsprong (lees: hun zin) kunnen krijgen door te ruilen, en dat was niet de bedoeling. Werd er maar naar cijfers gekeken, dat is ten minste objectief.

  5. Als blijkt dat na toepassing van het algoritme er een groep is die na ruil wel aan de behoefte van de eerste school keuze kunnen komen, is de gemeente meen ik verplicht om dit te faciliteren. Het is toch van de zotte dat de ene groep leerlingen de andere ’s morgens passeert op weg naar de school van jun keuze ? (omgekeerde versie van “allemaal blij” nu allemaal ontevreden)

          1. Dat doel kan je op vele andere manieren óók bereiken. Je zou kunnen stellen dat je alleen kan ruilen via een site van de OSVO en daarmee kan je dan alsnog inzichtelijk krijgen welke school het populairste is.

            Leerlingen benadelen omdat je anders geen goed inzicht hebt, lijkt me géén goede afweging van de belangen.

          2. Ah, dus de belangen van de leerlingen zijn ondergeschikt aan de informatiebehoefte van de gemeente?

            Overigens heeft de gemeente die info al. Juist het feit dat sommige scholen blijkbaar meer kandidaten Dan plaats hebben is een sterke indicator, of niet?

            1. De toekomst van het onderwijs zou je als belangrijker kunnen zien dan één groep leerlingen die nu de derde keuze krijgt.

              Het probleem is dat die informatie onbetrouwbaar is. Schrijft men zich in omdat deze school gewenst is, of omdat men hoopt op een plekje dat gemakkelijk te ruilen is met de écht gewenste plek?

  6. De aanpak van de klagende partij is verkeerd geweest. Ze hadden niet moeten eisen dat ze mochten ruilen maar op grond van hun wetenschap (400 mensen die door onderling ruilen hun positie kunnen verbeteren) moeten betogen dat het algoritme niet optimaal was. Ik ben benieuwd wat er dan was uitgekomen. In het extreme getrokken: als het match-algoritme gewoon een random verdeling had toegepast, was er dan een grond geweest om de uitslag van het algoritme te verwerpen?

    1. De overheid heeft de wettelijke plicht om onderwijs te (laten) verzorgen, maar niet de plicht om dat naar eerste voorkeur van iedere ouder te doen. Random match mag, tenzij dat extreem bezwaarlijk uitpakt voor bepaalde groepen (iemand die aan de rand van de stad woont aan de tegenoverliggende rand een schoolplaats aanbieden.)

      Jouw argument had bij de rechter hetzelfde resultaat opgeleverd: ga maar naar de aangewezen school!

  7. Ik heb even opgezocht hoe het lotingsysteem werkt. Iedere scholier moet de scholen rangschikken naar volgorde van voorkeur. Vervolgens krijgt iedere scholier voor elke school een willekeurig lotnummer toegekend. In de eerste ronde wordt iedereen “virtueel” bij zijn of haar eerste keuze ingedeeld. Bij de scholen die op deze manier meer leerlingen hebben dan capaciteit, worden de scholieren met de laagste lotnummers uitgesloten. De uitgesloten scholieren worden vervolgens virtueel ingedeeld bij de volgende school op hun lijst. Ook als deze al virtueel vol is. Vervolgens worden opnieuw lotnummers vergeleken, waarbij iemand die in stap 1 bij de school is ingedeeld ook weer mee doet. Dit herhaalt zich tot iedere scholier geplaatst is.

    De nadelen van dit systeem zijn evident: Het kan voorkomen dat een scholier in z’n 8e ronde ingedeeld wordt bij een school waar hij een andere scholier die die school als eerste keuze had opgegeven er uit loot. Tevens is dit geen systeem dat zoekt naar een optimale oplossing, maar slechts naar een oplossing die voor iedereen eerlijk is (immers wordt iedereen gelijk behandeld en worden dingen beslist door een toevalsgenerator).

    Het feit dat er 400 gevallen zijn waar een simpele swap tussen twee leerlingen leidt tot een betere oplossing van de puzzel (en dat zijn alleen de leerlingen die met elkaar in contact zijn gekomen, mogelijk zijn er veel meer swap-scenario’s) geeft al duidelijk aan dat er geen enkele vorm van optimalisatie is toegepast.

    Het ontwerpen van een goed algoritme voor een dergelijk probleem is lastig, want hoewel je wil toelaten dat het systeem twee leerlingen omruilt als het voor leerling A een verbetering van 10 punten oplevert ten koste van een verslechtering van 3 punten voor leerling B (even in het midden latend hoe de kwaliteit van de oplossing in punten wordt berekend), moet voorkomen worden dat in iedere stap telkens dezelfde leerling een kleine verslechtering wordt toebedeeld, waardoor deze uiteindelijk geofferd wordt op het optimalisatie-altaar. Maar de Gemeente Amsterdam lijkt het andere uiterste te hebben gevonden, waar het potentieel benadelen van een individu ten bate van de kwaliteit van de totaaloplossing compleet ontweken wordt, waardoor zelfs situaties waarin een swap beide direct betrokken partijen bevoordeelt, verboden wordt.

    Het is misschien “eerlijk”, maar het is voor vrijwel iedereen slechter dan de “oneerlijke” oplossing.

    Tot slot als meelezende wiskundige: Natuurlijk is het niet per se mogelijk dat alle 7500 leerlingen hun top 3 score krijgen. Dat hangt volledig af van de keuzes die gemaakt worden door de leerlingen. Is het zo dat 3 scholen qua kwaliteit/populariteit zo ver boven de rest uitsteken dat (vrijwel) iedereen ze als top 3 opgeeeft, dan gaat het uiteraard niet lukken. In de praktijk, waar ook reisafstand zwaar meeweegt, denk ik dat een degelijk algoritme een behoorlijk eind moet kunnen komen.

    1. Het volgende algoritme heeft volgens mij hetzelfde resultaat:

      Geef elke leerling, in volgorde van hun lotnummer, een plaats op de hoogste school op hun lijst die nog capaciteit heeft.

      Dat wil dus zeggen dat er een direkt verband is tussen de hoogte van je lotnummer en je kans om op je gewenste school te komen. Die 400 leerlingen zullen wel de bij de laagste lotnummers zijn geweest dan. Ik vind dat algoritme disproportioneel oneerlijk voor degenen met lage lotnummers.

      Maar als ik zo nadenk snap ik niet hoe met dat algoritme er mogelijkheden bestaan dat twee leerlingen met een ruil allebei op een betere plek kunnen komen (waarbij een ‘betere plek’ een plek is die hoger op hun lijst stond). Dus of ik snap de beschrijving van het algoritme niet goed, of de beschrijving is niet goed, of het algoritme is niet goed geimplementeerd.

      1. Tja ik heb er ook even over moeten nadenken, maar het kan dus echt! Stel je hebt drie leerlingen (1,2,3) met de volgende voorkeuren (school A,B,C): 1 A, B of C. (eerste keus A, tweede B, derde C). 2 A, B of C. 3 B, A of C. Een van deze drie zal op keuze C komen, maar wie moet dit zijn? Er zijn twee optimale oplossingen: 1 naar A, 2C, 3B, of 1C, 2A, 3B. Echter in het algoritme gebeurd dit: Leerling 1 en 2 loten laag op school A en hoog op school B. Leerling 3 loot laag op school B en hoog op school A. Leerling 1 wordt in ronde 1 op school A geplaatst, maar verdrongen door leerling 2. Vervolgens verdringt leerling 1 leerling 3 van school B, waarna leerling 3 in ronde 3 weer leerling 2 van school A verdringt. De uitslag is dan 1B, 2C, 3A. Leerling 3 zou nu graag ruilen met leerling 1, maar passeert hiermee leerling 2 die eigenlijk hoger stond op school B.

        Ik zat hieronder te denken aan ‘doe maar 1 loting per school’, maar jou voorstel om gewoon maar 1 loting totaal te doen is nog veel beter, je kunt dan nooit meer iemand verdringen naar een school waar jij liever op gezeten had.

    2. Het bizarre aan dit systeem is dat je dus iemand met eerste keuze eruit kunt duwen met jou 3de keuze, en vervolgens die uitgelote leerling bij jou eerste keuze kan inloten (!). En doordat er tig keer opnieuw geloot wordt, is de kans dat dat gebeurd ook steeds groter en groter. Sterker nog: Wie zijn eerste keus laag op zijn lijstje zet, heeft een groteren kans er op te komen als hij maar overvolle scholen bovenaan zet. Immers doet deze leerling dan pas vanaf de 5de ronde mee in zijn eerste keuze, terwijl iemand die eerlijk zijn lijstje invult dan al 4x de kans heeft gehad eruit geloot te zijn.

      Ik zou zelf het volgende systeem voorstellen: Loot meteen alle leerlingen op alle scholen in, waardoor je een ranglijst krijgt per school. Stop nu met loten, maar hou deze ranglijst vast en pas het bovengenoemde systeem toe: Iedereen komt op een school met eerste keuze, pas als deze vol is verdeel je de overige leerlingen over de school met tweede keuze, het kan dat deze al hoger geloot hadden dan leerlingen die daar eerste keuze hadden, deze zullen afzakken en naar hun tweede keuze gaan. Natuurlijk kan die tweede keus nou net de eerste keus zijn van die leerlingen die hen wegduwde, maar door niet telkens opnieuw te loten voorkom je dat die situatie meer dan 1x voorkomt. Aan het eind kun je nog een optimalisatie uitvoeren waarbij je automatisch alle leerlingen ruilt die daardoor beide beter uitkomen.

      Natuurlijk behoud je zo een minimale kans dat er een derde leerling was die voor de ruil lager geloot was, maar na de ruil hoger dan de twee ruilende leerlingen die ruilde. Dat zul je echter altijd hebben als er te weinig plek is op populaire scholen. En ja het is ook zo dat een van deze drie leerlingen juist deze scholen als tweede en derde keus had genomen om zijn kans op een ruil te vergroten. Echter heb je het hier over een minimale kans, met daarnaast een groot risico dat je op een populaire school geplaatst wordt waar je eigenlijk helemaal niet naar toe wou. Als je echt wilt weten welke scholen populair zijn, en welke alleen maar hoog eindigen omdat iedereen denkt dat ze populair zijn, dan zul je een andere meetmethode moeten toepassen. Zo kun je alleen naar eerste keuzes kijken, of gewoon een enquête houden waar je geen vergaande gevolgen aan verbind zoals de daadwerkelijke schoolkeuze.

      1. Het door Willem hierboven voorgestelde systeem is het simpelste en ook behoorlijk effectief:

        Geef elke leerling, in volgorde van hun lotnummer, een plaats op de hoogste school op hun lijst die nog capaciteit heeft.

        Er is dan direct geen ruilmogelijkheid meer want voor iedere leerling geldt dat iedereen die beter geloot had niet met die leerling wil ruilen en dat de leerling zelf niet wil ruilen met iedereeen die slechter geloot had. (hieronder ook wel beschreven als RSD)

  8. Waarom is het van belang dat iedereen in zijn top 3 voorkeur komt? In het huidige systeem wordt zelfs uitgegaan van de top 5. Moet de voorkeur van de leerling (of de ouders) wel belangrijk zijn? Hoe zit het met afstand? Wil je als overheid wat doen met witte / zwarte scholen? Daarnaast gaat het niet om 7500 volstrekt uitwisselbare scholieren en een X aantal (10? 20? ) scholen, maar leerlingen met een spectrum aan studieadviezen en VMBO , VMBO/MAVO, MAVO, MAVO/HAVO, HAVO, HAVO/Atheneum, Gymnasium en nog een aantal andere schoolvormen en scholen met meerdere disciplines. Als je het matchingsysteem rekening laat houden met afstand en het advies van de basisschool (mag iemand naar HAVO, of is een MAVO / HAVO schakelklas beter?) wordt het maken van goede matches al complexer.

    1. Are you kidding? Moet de voorkeur van de leerling of de ouders wel belangrijk zijn?

      Natuurlijk, dat is het belangrijkste!!!!!!! De scholen zijn er verdorie toch voor de leerlingen, niet andersom!

      Er zijn maar twee zaken die belangrijker zijn: de school is vol of de school wil de leerling niet (en dat zal weinig voorkomen want riekt al gauw naar discriminatie)

      1. “Ik wil dat Jantje naar het Blanckenborgh Gymnasium gaat” (10 km enkele reis vanuit de grachtengordel) of “Ik wil dat mijn kind naar de dichtstbijzijnde school gaat” Je mag best het 2e criterium zwaarder laten wegen dan het eerste, en dus kinderen die kiezen voor dichtstbijzijnde school voorrang geven boven andere redenen. Ik stel: Eerst indelen op afstand en oudere broers/zussen. Dit zijn objectieve criteria, waar aantoonbaar voor het ene kind een betere optie is dan voor de ander. Als mensen hier vanaf willen wijken mag dat, maar deze matching moet door de overheid geboden worden. Als mensen toch willen kiezen voor een specifieke school, wegens geloofsovertuiging, reputatie van de school, verwachtte netwerkcontacten, of wat dan ook, is dat mijns inziens ondergeschikt aan de objectieve criteria.

        1. Zou jij je er gemakkelijk bij voelen als je kind naar een school moet met een totaal andere geloofsovertuiging dan je zelf? Als ik even aan neem(*) dat je hoort tot de seculiere meerderheid in dit land: zou je je er gemakkelijk bij voelen als je kind naar een school moet waar met een streng reformatorische of een radicaal islamitische overtuiging les wordt gegeven?

          Ik denk dat, als mensen er bij stil staan, dat nog wel een stukje hoger op de prioriteitenlijst van de meeste mensen staat dan reisafstand. Je kunt het dus niet zomaar af doen als een ondergeschikte voorkeur.

          (*) op basis van je blijkbare minachting van het belang van geloofsovertuiging verwacht ik dat je op dat punt tot een meerderheid hoort. In de VS had ik misschien ingeschat dat je christen zou zijn.

          1. Ik geef aan, dat sommige argumenten die ouders aandragen meer of minder relevant zijn dan anderen. Blijkbaar zijn jullie dat met me eens, want geloofsovertuiging is voor jullie erg belangrijk. Ik vind het niet uit te leggen, als iemand een voorkeurslijst op basis van afstand invult, dan toch ver moet reizen. Jullie hebben (blijkbaar) problemen met een christen die een plek op een moslimschool inneemt. Je zet de deur op een kier, dus trap ik ‘m maar in: Ik onderken het belang van geloofsovertuiging inderdaad niet. Geloven doe je in de kerk. Een school is er om onderwijs te geven, en wordt betaald door ons allen. Als je sprookjesboeken wilt onderwijzen als school (en dat lijkt me een goed idee), zie ik niet in waarom Grimm, Tolkien en Homerus minder aandacht zouden krijgen dan de bijbel. Zolang onze seculiere overheid het onderwijs betaald, hoort de bijbel thuis bij geschiedenis en maatschappijleer, en uiteraard mag het ook gebruikt worden bij (klassieke) talen, maar daar houdt het dan wel mee op, en dan moeten andere verhalen OOK ruimte krijgen. Respect voor de Joods-Christelijke traditie in Nederland is goed, maar je moet het niet overdrijven.

            Verder maak je het nodeloos gechargeerd: Kinderen MOETEN niet naar een specifieke school, naast enkele scholen waar daadwerkelijk mensen uitgeloot zijn, zijn er nog meerdere scholen waartussen vrij gekozen kan worden.

          2. Tja, voor mij is het simpel. Een school hoort geen geloofsovertuigig uit te dragen, daar zijn kerken, synagoges, moskeeen etc… voor. Ik vind het van de zotte dat van belastinggeld betaalde scholen godsdienst lessen geven. Godsdienst onderwijs doe je maar op zaterdag of zondag.

            Ik zat op een christelijke school en ging op zondag naar de kerk. Godsdienst onderwijs is de grootste tijd en geld verspilling die ik daar gehad heb. In die tijd had ik nuttige zaken kunnen leren. Zodra mijn ouders daar achter waren hoefde ik op zondag niet meer mee, maar door de weeks op school ging dit gewoon door.

            Als je geloof uit de scholen elimineert, dan maak je meteen je allocatie eenvoudiger.

          3. Zou jij je er gemakkelijk bij voelen als je kind naar een school moet met een totaal andere geloofsovertuiging dan je zelf?

            Gaat het hier dan niet om openbare scholen? Bijzonder onderwijs valt toch buiten de verantwoording van de gemeente wat toewijzing betreft?

        2. Verwachte kwaliteit, levensbeschouwelijke overtuiging, afstand, etc dat zijn allemaal zaken die kinderen en ouders gemakkelijk zelf tegen elkaar kunnen afwegen en dan tot een voorkeur(slijst) komen. Die voorkeur moet, als het kan (dus als er capaciteit is), gerespecteerd worden.

          We leven toch niet in een diktatuur waarin de overheid bepaalt naar welke school je moet.

          Ik ben het dus ZEER HARTSGRONDIG met je oneens Jasper.

    1. Het lijkt erop dat je het probleem als volgt als een stable marriage probleem kan omschrijven:

      De plekken op de school zijn de mannen, de leerlingen zijn de vrouwen. Wel opletten: aantal plekken moet gelijk zijn aan aantal leerlingen.

      De leerlingen stellen een een voorkeurslijst op voor alle scholen, niet alleen voor een top 10. De voorkeur voor alle plekken op een school zijn gelijk aan de voorkeur voor de school.

      De school moet ook een voorkeur voor de leerlingen hebben, deze wordt random toegewezen! Hiervoor kan de random toewijzing die ze nu hebben worden gebruikt.

      Je hebt nu twee gelijk grote groepen met gedefinieerde voorkeuren voor elkaar en kan dus een stable marriage probleem oplossen.

      1. Je krijgt een betere uitkomst als je de leerlingen de “mannen” laat zijn in het algoritme (de “suitor”-rol in het Gale–Shapley algoritme; zie de Wikipedia-pagina). De “voorkeur” van de scholen (de random toewijzing) is namelijk onbelangrijk, en er mag zo veel als nodig van worden afgeweken om de leerlingen een beter resultaat te geven.

        Oplossingen van het “stable marriage probleem” kunnen trouwens nog steeds groepen van 3 of meer personen bevatten die met onderling ruilen een voordeel kunnen behalen. Ik denk daarom dat het “school-probleem” net wat anders is: je wilt dat het helemaal Pareto-optimaal is (bestand tegen elke mogelijke mutatie, niet alleen 1-op-1 verwisselingen), en de keuze van 1 van beide groepen is irrelevant.

  9. Het algoritme dat je ontwerpt is gebaseerd op de eisen die je er impliciet of expliciet aan stelt, en de aannames die je doet. Ik ben wel benieuwd naar de eisen die tot het huidige algoritme hebben geleid, en de eisen die je zou moeten stellen om het huidige probleem te voorkomen.

    Eén van de eisen schijnt transparantie te zijn geweest: het algoritme moet bekend gemaakt worden aan iedereen. Dit lijkt geen invloed te hebben op de keuze van het algoritme zelf, maar ik zal zo uitleggen waarom het wel invloed heeft. Het lijkt mij zelf een goede eis, dus ik zou deze willen houden.

    Het is belangrijk om het algoritme spel-theoretisch te zien: deelnemers geven input aan het algoritme (hun school-voorkeur), en ze hebben verschillende belangen bij de uitkomst van het algoritme. Aangenomen dat de deelnemers intelligent zijn en hun eigen voordeel proberen te maximaliseren, is de uitkomst van het algoritme een Nashevenwicht. De uitkomst kan afhankelijk zijn van het feit dat deelnemers weten hoe het algoritme werkt (de eerder genoemde transparantie).

    Het lijkt er op dat het huidige systeem is ontworpen met als eis dat het Nash-evenwicht (de uiteindelijke uitkomst) zodanig is dat mensen hun werkelijke voorkeur opgeven. Dat is een beetje raar, want dat doet er helemaal niet toe: waar het eigenlijk om moet gaan is dat de uitkomst van het algoritme goed matcht met de werkelijke voorkeuren van mensen, ongeacht of mensen nou wel of niet eerlijke input geven.

    Het kan ook dat een ander criterium is gekozen. Mogelijk is het algoritme gebaseerd op een bepaald utilitarisch criterium, bijv. “de 2e keuze heeft een 2/3e score van de 1e keuze; de 3e keuze een 4/9e score, enz.”, en dat het algoritme zo is gekozen dat het Nash-evenwicht een zo hoog mogelijke score geeft.

    Ik zou zelf als voorwaarde voor het algoritme eisen dat het Pareto-efficiënt is ten opzichte van de opgegeven voorkeuren: dat is precies de eis die het soort klacht voorkomt dat je nu krijgt. Mochten er meerdere algoritmes zijn die aan deze eis voldoen, dan kan je altijd nog optimaliseren aan de hand van een utilitarische norm. Waarschijnlijk zal je minder hoog scoren op je utilitarische norm dan wanneer je jezelf deze restrictie niet op legt, maar ik denk dat het de trade-off waard is.

  10. Ik ben benieuwd of gegeven de nu bekende voorkeuren het gekozen Deferred Acceptance-algoritme (zie 2.7 van het vonnis) nog steeds de beste keuze was of dat RSD of Boston toch beter zouden presteren. Hopelijk wordt het meegenomen tijdens de evaluatie.

  11. Het is vreemd dat de resultaten in de ‘simulatie‘ (met daadwerkelijk door Amsterdamse leerlingen ingevulde lijstjes: 99,9% in de top-3 en 100% in de top-5) zo enorm verschillen met de daadwerkelijke resultaten (95% in de top-3 en 99% in de top-5).

    Is dat al verklaard? Zijn leerlingen massaal voor een paar overvolle scholen gaan kiezen? Of is er iets anders aan de hand?

    Het zou wel interessant zijn als de data (geanonimiseerd) gepubliceerd wordt, zodat we andere ideeen ook kunnen vergelijken met de 3 algoritmes die door de VU zijn bekeken.

    1. Bedankt voor de link!

      Het lijkt er op dat er is gekozen voor iets dat lijkt op het genoemde “deferred acceptance” algoritme, waarvan al wordt vermeld dat het niet noodzakelijk Pareto efficiënt is (daar hebben we nu dus last van).

      Wellicht is het beter om dit te vervangen met het ook genoemde “randomserial dictatorship” algoritme:

      Bij randomserial dictatorship (RSD) leveren alle leerlingen een voorkeurslijst in. De leerlingen worden vervolgens in een centrale loting in willekeurige volgorde geplaatst. Deze lijst wordt vervolgens afgewerkt waarbij elke leerling die aan de beurt is geplaatst wordt op de school die het hoogst op zijn voorkeurslijst staat en nog plek heeft.

      Is dit wel gegarandeerd Pareto efficiënt? In ieder geval geldt wel dat

      Het voordeel van [o.a. randomserial dictatorship] is dat strategisch gedrag niet loont. Het is optimaal voor leerlingen om hun echte voorkeuren op te geven

      1. Blijkbaar is RSD wel Pareto efficiënt:

        A matching mechanism is Pareto efficient if and only if it is a serial dictatorship (Satterthwaite and Sonnenschein (1981))
        Verwijst naar een paper uit 1981 met de titel “Strategy-Proof Allocation Mechanisms at Differentiable Points”, die ik helaas niet zo snel vrij downloadbaar kan vinden (@%!$^@ uitgevers die na drie decennia hun papers nog steeds niet in het publieke domein plaatsen!)

        1. De uitkomst van elk serial dictatorship algoritme is weliswaar Pareto efficiënt, maar sommige uitkomsten zijn voordeliger dan andere; random serial dictatorship kiest in wezen een willekeurig serial dictatorship algoritme; je kunt dus een betere uitkomst krijgen als je gericht, in plaats van random, een bepaald serial dictatorship kiest. Bijvoorbeeld:

          volgorde; voorkeur; uitkomst 1; A B C D; A (1e) 2; A B D C; B (2e) 3; A B D C; D (3e) 4; D A B C; C (4e)

          volgorde; voorkeur; uitkomst 1; D A B C; D (1e) 2; A B D C; A (1e) 3; A B D C; B (2e) 4; A B C D; C (3e)

          Krijg ik een nobelprijs als ik een algoritme bedenk om de optimale volgorde te bepalen? Nadeel van een niet-random lotvolgorde is dat deelnemers wellicht weer kunnen manipuleren, wat dan weer de efficiëntie van het systeem als geheel beïnvloedt.

          1. Ja, met een dergelijk algoritme ga je heel goed score. Het grote probleem is dat mensen bij dit soort keuzes bijzonder manipulatief te werk gaan, en mogelijk nog meer waarde toekennen aan strategisch stemmen dan wiskundig verantwoord is. Zelfs als een Nobelprijswinnaar aantoont dat strategisch stemmen niks oplevert, zie ik een aantal leerlingen/ouders toch zomaar nog strategisch stemmen.

            Wiskundige zijn helemaal gek op dergelijke algoritme die niet alleen een optimale uitkomst opleveren, maar ook nog eens eerlijk zijn en dus niet gemanipuleerd kunnen worden. Zoek maar eens op hoe je een taart over 3 personen moet verdelen. Met 2 man is het makkelijk: Kiezen of delen. Met 3 is het lastiger, vooral als er 2 samenspannen om samen zo veel mogelijk taart in handen te krijgen. Mijn poging daartoe werd meteen neergesabeld als niet envy-free.

            Ook interessant is hoe je een dergelijk probleem oplost bij president verkiezingen: Er kan er maar 1 winnen, dus veel mensen zullen op hun tweede keus stemmen, als ze denken dat hun eerste keus volledig kansloos is. In een systeem waar je ook een tweede keus of meer mag opgeven, of meerdere stemrondes doet waar teleksn een kandidaat afvalt zijn dus eerlijker, maar hoe doe je zoiets optimaal?

            Overigens blijft het leuk om dergelijke problemen op te lossen. Wat dacht je van deze: Hoe meer informatie je hebt, hoe eerlijker je kunt verdelen. Dus vraag leerlingen niet alleen om een eerste, tweede, derde keus etc. op te geven, maar ook om punten (1-10) toe te kennen per school. Je eerste keuze is altijd 10 punten waard, maar daarna kun je kiezen, als je tweede keuze ook 10 punten is mag je daar de vrij mee worden uitgeruild. Kies je minder punten voor je tweede keus, dan wordt de kans dat je deze krijgt lager, maar de kans dat je je derde keus krijgt hoger. Je hoeft niet meer dan één keus op te geven, maar alle overige scholen worden in willekeurige volgorde onderaan je lijstje toegevoegd met een waarde van 1 punt. Vervolgens kun je met deze extra informatie weer helemaal los gaan en allerlei algoritme bedenken. Voorkom maar wel even dat 80% van je kandidaten gewoon één voorkeur opgeeft en de rest op 1 punt zet.

          2. je kunt dus een betere uitkomst krijgen als je gericht, in plaats van random, een bepaald serial dictatorship kiest.

            Met een computer kun je natuurlijk makkelijk een miljoen random variaties van een serial dictatorship proberen en degene kiezen die het best is. Het criterium voor de beste moet je wel duidelijk definieren maar bijvoorbeeld de variatie waarbij het hoogste aantal leerlingen een top3 keuze hebben gekregen is een prima beoordelingcriterium. Met een miljoen kansen had je er vast wel een verdeling met een criteriumscore boven de 99% kunnen krijgen.

            1. Maar als je een miljoen keer iets willekeurigs doet en er vervolgens de beste uit kiest, ben je uiteindelijk helemaal niet willekeurig bezig (een variant van de “wet van de grote aantallen“: als ik een miljoen keer een dobbelsteen gooi en vervolgens het grootste aantal ogen uitkies, kan ik er van te voren wel vanuit gaan dat dit er zes zullen gaan zijn). En de willekeurigheid is volgens mij essentieel om strategisch stemmen uit te sluiten met dit algoritme.

              1. Maar als je een miljoen keer iets willekeurigs doet en er vervolgens de beste uit kiest, ben je uiteindelijk helemaal niet willekeurig bezig

                Je wilt ook niet volledig willekeurig bezig zijn. Een volledig willekeurig RSD verdeling is lang niet altijd de optimale verdeling. Je wilt een zo goed mogelijk verdelings resultaat. Daarvoor leg je vooraf criteria vast. Door een computer een miljoen random verdelingen te laten maken en dan degene te kiezen die het beste voldoet aan je criteria voor een optimale verdeling krijg je een beter resultaat dan uit 1 willekeurige verdeling. Het resultaat is dan wel niet volledig willekeurig maar juist wel altijd beter dan volledig willekeurig.

                Bovendien is het volledig ongevoelig voor strategisch kiezen omdat in de gekozen random verdeling iedereen altijd zijn hoogst beschikbare keuze heeft toegewezen gekregen.

            1. Bij college admission in de VS hebben colleges ook voorkeur voor bepaalde studenten, en dat wordt meegenomen in de matching. Bij middelbare scholen in Amsterdam zal dat wel anders zijn. Je kunt natuurlijk alsnog het DA-algoritme toepassen als je willekeurige voorkeuren invult voor de scholen (“loting”), maar voor een optimale uitkomst voor de scholieren moet die random “voorkeur van de scholen” nooit prioriteit krijgen boven de voorkeur van de scholieren. Ik ben er niet van overtuigd dat het DA-algoritme dit altijd goed doet.

              1. Het DA algoritme zal alleen bij toeval een optimale oplossing opleveren. Dus je zal nooit overtuigd worden. Er is echter erg veel te vinden over dit probleem. Ik snap daarom nog minder waarom voor het DA algoritme is gekozen. Je weet dat je daar problemen mee krijgt.

        2. Het nadeel is dat iemand die dan laag loot, ook echt laag loot, en dus buiten de boot zal vallen bij alle zijn keuzes. In het huidige systeem is er een uitruilkans met iemand die wel zijn eerste keus heeft geloot. Echter lijkt het algoritme geen rekening te houden met de vraag of deze geruilde leerling wel een tweede keus heeft waar hij meteen geplaatst kan worden, of dat deze ook weer een met andere leerling gaat uitruilen, en het balletje zo steeds verder blijft rollen. Daar wel rekening mee houden is dan weer ‘oneerlijk’ omdat leerlingen dan strategisch hun eigenlijke tweede keus een paar plaatsen lager zetten, wetend dat daar altijd wel ruimte is (ruilen met een school waar nog ruimte is mag altijd).

          Daarnaast lees ik dat er een tekort aan plaatsen was op een aantal scholen door het laat beschikbaar komen van de cito scores, die veel afweken van eerdere schattingen op basis van de basisscholen. Het zou dus goed kunnen dat daardoor elk algoritme had gefaald in de huidige situatie. Andere algoritme die wel Pareto efficiënt zijn en ook rekening houden met verzwarende factoren (zoals broers en zussen al op school van eerste keuze hebben) leveren vooral een beter gevoelsscore op. Ook niet geheel onbelangrijk.

      2. Natuurlijk is Pareto-efficientie leuk, maar niet het enige criterium: de simulatie beloofde dat:

        bij DA 99,9% van de leerlingen geplaatst wordt op een school die bij de top 3 op de voorkeurslijst staat. Bij RSD is dat 98,1% en bij het Boston mechanisme 96,7%.
        Het lijkt dan niet gek om DA te kiezen: weliswaar niet pareto-efficient, maar aan de andere kant: slechts ongeveer 7 leerlingen komen niet in hun top-3. Kiezen voor RSD zou betekenen dat je veel kinderen een beter passende keus geeft, maar ook ongeveer 142 niet in hun top-3 komt. Dat is misschien geen slechte trade-off.

        Het is dan wel pijnlijk als je om die reden voor DA kiest, er als puntje bij paaltje komt 95% van de leerlingen niet hun top-3 haalt: dat zijn 375 leerlingen!

        De vraag blijft voor mij dus: waarom behaalde DA niet het verwachte resultaat? Is het algoritme wel goed uitgevoerd? Zouden de andere algoritmen op de daadwerkelijke data ook slechter gepresteerd hebben?

          1. Aangezien DA zonder ruilen niet te manipuleren is door strategie kan dat de oorzaak niet zijn. Tenzij de maatstaf of de gewenste school is gekozen anders is dan de opgegeven lijst die het systeem is ingegaan. Maar dan heb je geen recht van spreken, want dan ben je gewoon dom geweest.

            1. Ook al is het zinloos te proberen DA te manipuleren door strategie, als mensen dat toch proberen kan dat (zoals Arnoud terecht opmerkt) wel verklaren waarom DA in de praktijk veel slechter (b)lijkt te presteren dan in de simulatie.

              Ik heb mijn twijfels, maar dat is toegegeven vooral een onderbuikgevoel. Zou goed zijn om de data te hebben.

              1. Volgens de door Corné (dank) gevonden bron:

                Dit kwam voornamelijk door een inschattingsfout waarbij de Citotoets achteraf roet in het eten gooide en adviezen toch nog opgehoogd konden worden op basis van een hoge score op de Citotoets.
                Dat lijkt me iets dat je de implementatie van het algoritme moeilijk kunt verwijten…

                1. Als wiskundige roep ik “ONZIN!” Het lijkt verdacht veel op slechte planning van Amsterdam. Wil je dat ouders en leerlingen een goede keuze kunnen maken, dan moeten alle relevante gegevens (inclusief uitslag van de CITO toets) bekend zijn voordat de voorkeurlijst ingeleverd moet worden.

                  1. Waar ik benieuwd naar be, is wat noemen ze simulatie? Alleen je voorlopige data door verschillende modellen halen, noem ik geen simulatie. Toch lijkt het erop dat ze dat gedaan hebben. Dat is geen goede test. Je test immers hoe één specifieke input set uitkomt. Je hebt dan een schatting gebaseerd op een enkele waarneming, je kan niet eens een uitspraak doen of je schatting goed is, laat staan wat de worst case scenarios zijn en met welke kans deze optreden.

                    Tenzij er een heleboel onderzoek is wat niet gepubliceerd is (of nog niet gevonden) klinkt dit als broddelwerk.

                    1. Als de CITO toets als excuus gebruikt wordt, denk ik dat er niet gekeken is hoe het algoritme zich houdt als de capaciteit voor een bepaalde categorie scholen zeer dicht bij de vraag ligt. (99% bezetting) En het is heel goed mogelijk dat in de simulatie een ander algoritme gebruikt is dan uiteindelijk in productie. Een bugje glipt er zo in!

    1. Ik kan me niet aan het onderbuikgevoel onttrekken dat het algoritme weliswaar goed is, maar dat de implementatie te wensen overlaat. Bot gezegd, dat er bugs in het algoritme zitten. Dat bijna 5% van de kinderen door onderling wisselen allemaal hun eerste keuze kunnen vinden kan toch haast niet bij een enigszins efficient algoritme?

      Kijk dat er theoretisch een paar kinderen door wisselen een school kunnen vinden die hun vierde ipv vijfde keuze is, oke. Maar 400 van de 7500 is ruim 5 procent. En die kunnen met wisselen hun eerste keuze krijgen, volgens het artikel (misschien hadden ze al hun tweede of derde hoor, maar dan nog). Dat gaat er bij mij niet in.

      Ik zou dus bij de rechter geargumenteerd hebben dat de uitkomst van het algoritme bar slecht is. En of dat nou aan het algoritme zelf ligt, of aan de implementatie, is irrelevant.

        1. De enige manier waarop je dit algoritme kan beoordelen is hoeveel mensen hun aangegeven voorkeur krijgen. Veranderende voorkeur kan geen enkel algoritme afvangen. Die 5% zijn dus mensen die niet hun aangegeven voorkeur hebben gekregen en door ruilen hun aangegeven ongewijzigde voorkeur kunnen krijgen.

  12. Dus de keuze voor DA is gebaseerd op het criterium dat een methode beter is als er een hoger percentage zijn/haar top 3 keuze krijgt. Dat criterium is gewoon fout. Stel dat er bijvoorbeeld 2 studenten in de loting de volgende voorkeur hebben uitgesproken: Student 1: A, B, C, D, E (dus school A als eerste, B als 2e, etc.) Student 2: A, E, D, B, C Stel dat alleen scholen A en D nog een plekje over hebben, dan zegt het criterium dat student 1 naar A en student 2 naar D sturen beter is dan andersom. Klinkt logisch tot je bedenkt dat student 1 misschien wel strategisch gestemd heeft en dat B en C zeer populaire keuzes zijn. Voor zover we op basis van de data kunnen beoordelen was student 1 naar school D sturen en student 2 naar A net zo goed geweest. Oftewel, het criterium dat gebruikt is om de algoritmes te beoordelen, heeft dus een voorkeur voor methodes die strategisch stemmen belonen.

    Het criterium dat de oplossing pareto optimaal moet zijn, zou beter zijn. Dat criterium maakt namelijk geen onderscheid tussen de 2 eerder genoemde oplossingen, maar geeft wel de garantie dat onderling ruilen niet tot een betere oplossing kan leiden. Het heeft ook nog eens als voordeel dat eenvoudig gecontroleerd kan worden of de gevonden oplossing aan het criterium voldoet. Pak maar een stuk papier; teken daarop de scholen; als er op school X een student zit die liever naar school Y ging (of meerdere studenten), dan teken je een pijl van school X naar school Y. Als je door de pijlen te volgen een rondje kunt lopen, dan kun je in dat rondje dus met studenten schuiven, zodat ze allemaal op een betere plek terecht komen en was de oplossing dus niet pareto optimaal. Sterker nog, met die ’tekening’ (i.e. graaf), kun je alsnog ruilen toestaan. Gezien je kansen om op een betere school uit te komen alleen afhankelijk is van de school waar je nu op zit en de scholen waar je naar toe wilt, is dat eerlijk te noemen (maar mogelijk is het wel te beïnvloeden met strategisch stemmen).

    1. Jouw check voor Pareto-efficiëntie is niet voldoende. Een tegenvoorbeeld is de volgende inefficiente verdeling, die je niet Pareto kunt verbeteren met 1-op-1 ruilen: A B C -> B C A B -> A B C A -> C Maar een Pareto-betere verdeling is wel mogelijk: A B C -> A C A B -> C B C A -> B (Edit; niet goed gelezen. Jouw graaf-oplossing lijkt wel te werken.)

      Gelukkig is het vrij makkelijk om tot een Pareto-efficiënte verdeling te komen, door een “serial dictator” algoritme toe te passen: laat de deelnemers, één voor één, kiezen uit de resterende plaatsen. “First come first serve” is zo’n algoritme, en “bepaal de volgorde van keuze met een loting” is een ander algoritme (dat heet “random serial dictator” (RSD); zie andere posts).

      Je hebt dus nog steeds een ruime keuze aan algoritmes voor hoe je tot een Pareto-efficiënte verdeling kunt komen; het verschil tussen alle algoritmes komt in wezen neer op de volgorde waarin je de deelnemers laat kiezen. Je kunt daar dus mee spelen om bepaalde dingen te optimaliseren: * Je zou bijvoorbeeld als eis kunnen stellen dat “manipulatie” van het systeem (strategisch iets anders opgeven dan je werkelijke voorkeur) niet lonend is. Het RSD-algoritme heeft dit voordeel. Als je dit voordeel niet hebt, dan wordt analyse van de werkelijk te verwachten uitkomst ingewikkelder: je moet dan kijken naar wat voor manipulatie mensen kunnen toepassen, en naar wat voor manipulatie ze werkelijk zullen toepassen in een “Nash-evenwicht”. * Je zou ook als eis kunnen stellen dat zo veel mogelijk mensen een keuze uit hun top-3 krijgen. Ik denk zelf dat dat wel eens onhandig uit zou kunnen pakken, omdat het algoritme dan geen onderscheid maakt tussen plaats 4 en plaats 10: als het nodig is om iemand van plaats 4 naar plaats 10 te schuiven, om iemand anders van plaats 4 naar plaats 3 te krijgen, dan zal het algoritme dat doen.

      Ik voel er zelf wel voor om de eis van Pareto-efficiëntie aan te scherpen naar Pareto-efficiëntie onder de “veil of ignorance“: als de ene leerling van keuze 3 naar keuze 1 gaat, en de andere van keuze 1 naar keuze 2, dan is dat een “Pareto-verbetering onder de veil of ignorance”. Ik weet alleen niet zo snel een algoritme te bedenken dat zulke efficiënte oplossingen herkent of genereert.

      1. Het is dus vooral belangrijk dat vooraf gedefinieerd is wat men de meest wenselijke criteria vind voor een optimale verdeling. Bijvoorbeeld: * Zo veel mogelijk mensen in eerste keus * Zo veel mogelijk mensen in top 3 keuze * Zo weinig mogelijk mensen top 5 laagste keuzes * Zo veel mogelijk mensen in top 2 keuzes onder de dwingende voorwaarde dat maximaal 0,1% in de top 5 laagste keuzes terechtkomt.

        De organisatie verantwoordelijk voor de verdeling kan dan met een computer net zo lang verdelingen uitvoeren als ze willen en de verdeling met het door die organisatie als meest optimaal gekozen criterium kiezen.

    2. Jouw graaf-idee heeft me geïnspireerd tot een nieuw idee: stel, je begint met een bepaalde verdeling van leerlingen, bijv. op basis van het RSD-algoritme. Daarna maak je een graaf met lijntjes van elke school naar elke andere school (dus twee lijntjes voor elk paar scholen; geen lijntje van een school naar zichzelf). Bij elk lijntje kijk je naar welke leerling het liefste van de ene school naar de andere zou willen, en aan de hand daarvan geef je het lijntje een score (bijv +2 als er een leerling is die van keuze 3 naar keuze 1 zou gaan; -1 als er hooguit een leerling is die van keuze 2 naar keuze 3 zou gaan). Je kunt een beetje spelen met je score-systeem om bepaalde doelen te bereiken, bijv. zo veel mogelijk leerlingen een top-3 keuze.

      Vervolgens probeer je in die graaf lussen te vinden waarvan de netto-score positief is. Elke keer als je zo’n lus vindt, dan verplaats je de betreffende leerlingen volgens de lus: volgens je score-systeem levert dat netto voordeel op (ook al kan het voor bepaalde leerlingen nadelig uitpakken). Bereken de graaf opnieuw, en herhaal dit totdat er geen lussen meer zijn.

      Je moet zo in ieder geval een lokaal utilitarisch optimum kunnen vinden (t.o.v. je score-norm), en waarschijnlijk kom je zelfs uit op een globaal utilitarisch optimum (d.w.z. er kunnen andere optima zijn, maar die hebben de zelfde totaal-score als de verdeling waar je op uit komt). Als je score-norm een beetje normaal is gekozen, dan is het utilitarische optimum automatisch ook Pareto-efficiënt.

      De vraag blijft: in hoeverre kunnen mensen zo’n systeem manipuleren door oneerlijk te zijn over hun voorkeuren? Hoe hangt dat af van het gehanteerde score-systeem?

  13. Vanwege al deze redenen is het begrijpelijk dat de scholen dit nieuwe systeem willen …

    Alleen … de scholen hebben niets te willen (en de gemeente Amsterdam ook niet), om de simpele redenen, dat het aan de ouders is om een school voor hun kinderen te kiezen. Het is niet zo dat scholen hun leerlingen mogen uitkiezen, noch is het zo dat de gemeente een school mag aanwijzen. Als scholen of de gemeente het (al dan niet gerandomiseerde) keuzeproces mogen vaststellen, ontnemen zij ouders het recht van schoolkeuze.

    Bijzondere scholen hebben een zekere ruimte om leerlingen te weigeren op grond van hun levensbeschouwelijke of pedagogische grondslag, wanneer de opvattingen of gedrag van een leerling niet aansluit bij de bijzondere grondslag van de school.

    Het recht op schoolkeuze door de ouders betekent niet dat men een plaats op een school kan opeisen. Vol is vol. Maar het is dan aan de ouders om te bepalen welk alternatief ze kiezen als hun eerder keuze niet vervulbaar blijkt.

    Een categorische weigering om ruilen toe te staan ondermijnt de keuzevrijheid van de ouders alleen maar verder. Derhalve dient ruilen te allen tijde toegestaan te zijn.

    1. Waar staat dat scholen en gemeente niets te willen hebben bij het keuze- en inschrijfproces? Het onderwijs is onderwerp van aanhoudende zorg voor de overheid, staat in de Grondwet. Dat geeft de overheid een plicht dit goed te regelen. Als de schoolwensen dan niet eenvoudig in te vullen zijn, dan ligt het voor de hand dat de overheid regelend optreedt.

      Enkel “wie het eerst komt” gaat het in het algemeen niet redden. Mensen ervaren dat als te oneerlijk, zeker wanneer je een eerste, tweede en derde keuze wilt kunnen doen.

      Als ruilen leidt tot handel en strategisch inschrijven, dan is dat een aanleiding om ruilen aan banden te leggen. Zeker als je dan ook mensen dupeert die niet in staat zijn tot ruilen (bv. omdat ze net uit andere provincie komen). Ook die mensen hebben recht op een schoolkeuze.

      1. Enkel “wie het eerst komt” gaat het in het algemeen niet redden. Mensen ervaren dat als te oneerlijk, zeker wanneer je een eerste, tweede en derde keuze wilt kunnen doen.

        Het is wel Pareto-efficiënt 😛

        Serieus: wil je nu nog beweren dat het voordeel van het huidige systeem is dat het als eerlijk wordt ervaren? Als je een “wie het eerst komt” systeem hebt met gelijke mogelijkheden voor iedereen (bijv. een goed gedefinieerde start-datum, en goede voorlichting voorafgaande aan de start-datum), dan lijkt mij dat rechtvaardiger. En, zoals bij elke Pareto-efficiënte verdeling: het leidt alleen tot problemen voor mensen die zich hebben ingeschreven op scholen waar een tekort aan plaatsen is.

        Als ruilen leidt tot handel en strategisch inschrijven, dan is dat een aanleiding om ruilen aan banden te leggen.

        Nee. Er is op zich niets mis met ruilen, strategisch inschrijven en handel. Alleen als dat tot misstanden leidt (bijv. nadelen voor kinderen met arme ouders, of nadelen voor mensen die nog niet zo lang in Amsterdam wonen), is dat aanleiding om ruilen aan banden te leggen.

        1. Feit is dat het oude systeem totaal niet als eerlijk wordt ervaren, en dat “wie het eerst komt” al helemaal niet.

          Er is wel degelijk wat mis met strategisch inschrijven en handel. Het is oneerlijk omdat niet iedereen eraan mee kan doen. De overheid moet eerlijke situaties bevorderen en handel in toegang tot overheidsfaciliteiten bestrijden. Vroeger had je de mogelijkheid je militaire dienst af te kopen, dan ging een arme sloeber in jouw plek. Dat is niet eerlijk en dat werd dan ook terecht verboden.

          1. Het is oneerlijk omdat niet iedereen eraan mee kan doen.

            Nee, het is oneerlijk als niet iedereen eraan mee kan doen.

            Bij helemaal vrije “handel” geef ik je gelijk: als mensen plaatsen op scholen kunnen kopen/verkopen met geld, dan bevoordeelt dat kinderen met rijke ouders, en ik ben het met je eens dat dat oneerlijk is. Maar als het puur gaat om ruilen of om strategisch inschrijven: daarbij heeft iedereen gelijke mogelijkheden. Ik wil wel toegeven dat ruilen in de praktijk moeilijk te onderscheiden is van handel, waarbij onder de tafel een betaling wordt gedaan; wellicht is daar een systeem voor te bedenken. Gewoon ruilen helemaal niet toestaan is dan natuurlijk wel het eenvoudigste systeem.

            Tot slot, om het rechtvaardigheidsgevoel te toetsen: stel je bent deelnemer (ouder/leerling) in een systeem van school-toewijzing. Jij (A) en twee andere mensen (B en C) krijgen alle drie de school van de derde keuze toegewezen. De andere twee deelnemers kunnen, door te ruilen, allebei hun eerste keuze krijgen; je blijft zelf dan je derde keuze krijgen. (1) Zou je zo’n ruil eerlijk vinden, of zou je die willen verbieden? (2) Wat als een ruil tussen jou en een ander (A en C) ook mogelijk was geweest, waarbij jij en die ander allebei de eerste keuze hadden gekregen, en de derde (B) bij zijn derde keuze was gebleven? Zou je de puur willekeurige keuze accepteren dat C met B heeft geruild i.p.v. met jou? (3) Maakt het daarbij uit of die keuze door een random generator is gemaakt of door een persoon (bijv. persoon C)? (4) Wat als de keuze niet random is, maar is bepaald door omstandigheden waar je zelf niets aan kunt doen (bijv. B is veel rijker dan jij en heeft een grote betaling aan C gedaan)?

            Het gaat in wezen om gelijkheid versus efficiëntie. Mijn eigen antwoorden zouden zijn: (1) Ik zou de ruil eerlijk vinden, en niet willen verbieden. (2) Ik zou dit accepteren. (3) Ja: als de keuze door een persoon is gedaan, dan kan stiekem toch situatie (4) aan de hand zijn. Idealiter is er een verifieerbare random number generator gebruikt. (4) Nee, dat zou ik niet accepteren. Natuurlijk is een random generator ook zo’n omstandigheid, maar die is tenminste niet gecorreleerd aan andere factoren, zodat het niet telkens de zelfde mensen zijn die profiteren.

      2. De grondwet geeft de overheid een opdracht om te zorgen voor een voldoende aanbod van onderwijs en onderwijs van voldoende kwaliteit. De wettelijke leerplicht verplicht tot onderwijs en de overheid kan eisen stellen aan de inhoud van het onderwijs waarvoor de leerplicht geldt. Maar de overheid heeft niet het recht om te bepalen welk onderwijs en welke school ik kies voor mijn kinderen. Dat is het recht en de opvoedkundige verantwoordelijkheid van de ouders.

        “Wie het eerst komt” heb ik niet als alternatief genoemd en zal dat ook niet voorstellen als alternatief.
        Het oude systeem is niet eerlijk en het nieuwe systeem is niet eerlijk. Een nieuw systeem moet wat mij betreft een heleboel eerlijker zijn, wil ik bereid zijn om mijn recht van schoolkeuze daarvoor op te geven. Dit nieuwe systeem is niet zoveel eerlijker.

        1. Ik mis nog even hoe je het dan wél op zou lossen, gegeven het feit dat een relatief klein deel van de scholen een veel te groot leerlingenaanbod heeft. De gemeente mag daar toch wel een duidelijke rol pakken om alle leerlingen zo eerlijk mogelijk over de beschikbare plaatsen te verdelen, op basis van de voorkeuren van die leerlingen zélf?

        2. Er is geen optimale oplossing. Dus bij elke gekozen oplossing is het nadelig voor een bepaalde groep kinderen/ouders. Wat is eerlijk? Als zo veel mogelijk mensen hun eerste keus krijgen? Of misschien zo weinig mogelijk mensen hun laatste keus krijgen?

          Ze hebben gekozen voor een criterium en daarbij een methode die is uitgetest. Helaas is deze gebleken in de praktijk een minder optimaal resultaat te geven dan in de tests maar dat resultaat is wel eerlijk tot stand gekomen. Als er nu aan dat resultaat wordt gerommeld is het niet een eerlijk resultaat meer.

          1. Eens, nu nog eens een ander algoritme toepassen is behoorlijk oneerlijk tov degenen die nu goed geloot hebben en dan door pech slechter uitkomen.

            Maar de gemeente kan zichzelf een hoop ellende besparen door voor komende jaren te kiezen voor een systeem dat tot een Pareto-efficiente verdeling leidt.

Geef een reactie

Handige HTML: <a href=""> voor hyperlinks, <blockquote> om te citeren, <UL>/<OL> voor lijsten, en <em> en <strong> voor italics en vet.