For at kunne levere de rangordninger af lande som tydeligvis efterspørges hos beslutningstagere og i offentligheden, har PISA valgt at basere sine analyser på et sæt af oversimplificerede modeller. I artiklen diskuteres nogle af de konsekvenser det får når de statistiske og datatekniske krav får forrang frem for de faglige samtidig med at der hos mange af deltagerne i de nationale PISA-konsortier synes at være en svigtende forståelse for de metodiske begrænsninger som de valgte analysemodeller medfører. Som eksempler ses der på undersøgelser af hvordan drenge og piger klarer forskellige opgavetyper, og på (mis)brug af kompetenceniveauerne til på papiret at identificere grupper af elever der ikke læser godt nok til at gennemføre en ungdomsuddannelse.