perjantai 10. tammikuuta 2014

Pisa 12 -tutkimuksen otos ihmetyttää


Aiempiin PISA-tutkimuksiin verrattuna vuoden 2012 tutkimus arvioi poikkeuksellisen laajasti suomalaista perusopetusta. Tutkimuksessa ovat mukana kaikki Suomen ruotsinkieliset koulut, joissa on 15-vuotiaita oppilaita. Lisäksi tutkimukseen valittiin mahdollisimman moni sellainen PISAn ikäkriteerin täyttävä nuori, joka on syntynyt muualla kuin Suomessa tai jonka vanhemmat ovat muuttaneet Suomeen jostain muusta maasta. Tällä mahdollistetaan näiden molempien ryhmien osaamisen ja niiden osaamiseen yhteydessä olevien seikkojen tavanmukaista perusteellisempi tarkastelu. Sekä ruotsinkielisten koulujen että maahanmuuttajataustaisten oppilaiden menestymisestä valmistuvat erilliset raportit vuonna 2014.

Kaikki ruotsinkieliset koulut valittiin mukaan, samoin kaikki sellaiset koulut, joissa oli vähintään viisi maahanmuuttajataustaista oppilasta.

PISA 2012 -mittaus toteutettiin 311 koulussa, joista testiin valittiin kaikkiaan 10 157 oppilasta. Näistä 82,2 prosenttia oli 9.-luokkalaisia, 17,6 prosenttia 8.-luokkalaisia ja 2,0 prosenttia 7.-luokkalaisia. Lukiolaisia ja ammattikoululaisia oli 0,1 prosenttia.

Ruotsinkielisiä oppilaita otoksessa oli 1 753 ja maahanmuuttajataustaisia oppilaita 2 426. Näiden ryhmien yliotosta hyödynnetään monipuolisesti kansallisissa erityistarkasteluissa. Tutkimuksen kokonaistulokseen ryhmien yliotostaminen ei vaikuta, sillä kansainvälisissä vertailuissa ryhmien painoarvot palautetaan tilastollisin keinoin vastaamaan niiden todellisia osuuksia perusjoukossa.

(Pekka Kupari, Jouni Välijärvi, Leif Andersson, Inga Arffman, Kari Nissinen, Eija Puhakka, Jouni Vettenranta)


Otoksessa oli ruotsinkielisiä oppilaita 17 % ja maahanmuuttajataustaisia oppilaita 24 %. Tutkijat korostavat, että kokonaistulokseen yliotostaminen ei vaikuta.

Ihmettelen, että julkisuudessa tutkimuksen poikkeuksellinen otos ei ole aiheuttanut juuri keskustelua. Valtamedia on ollut jostain syystä hämmästyttävän hiljaa, ilmeisesti asian käsittely on poliittisesti epäkorrektia.

Moni opettaja on ihmetellyt asiaa itsekseen, mutta julkisuudessa asiaa on pohtinut ainoastaan vain Osmo Soininvaara omassa blogissaan:


Samaa olen minäkin miettinyt, vaikka tulos ei loppujen lopuksi suuri katasrofi ollutkaan. Olemme yhteistuloksissa OECD-maiden kolmonen. 

Mutta tutkimuksen otos mietittyttää minua, niin paljon, että kohta purskahdan. 

Vaikka ryhmien painoarvot on palautettu tilastollisin keinoin vastaamaan niiden todellisia osuuksia perusjoukossa, ei voi olla pohtimatta, että maahanmuuttajat ovat kasautuneet selkeästi tiettyjen asutuskeskusten tiettyihin kouluihin.

Väkisin herää kysymys, millainen on otannan koulujen syntyperäisten suomalaisten sosiaalinen jakauma? 

Kuinka syntyperäisten suomalaisten sosiaalinen jakauma on otettu tutkimuksessa huomioon?

On aivan varmaa, että läheskään kaikki tutkimuksen koulut eivät ole suomalaisen keskiluokan kehtoja. Ikävä tosiasia on, että suurissa kaupungeissa kuten Helsingissä, keskiluokka on alkanut koulushoppailla. Varsinkin yläkoululaisia liikutetaan ns. hyvän koulun perässä kaupunginosasta toiseen.

Maahanmuuttajataustaiset lapset sekä alempien sosiaaliluokkien syntyperäiset suomalaiset lapset alkavat kasautua samoille alueille ja samoihin kouluhin. Suomalaisetkin koulut alkavat pikkuhiljaa eriytyä, lapsen asema peruskoulutuksenkaan suhteen ei ole enää tasa-arvoinen. Asuinpaikka ratkaisee. 

Turkulainen valkoisen keskiluokan akateeminen äiti ei lähetä suinsurminkaan lastaan esim. Varissuon kouluun. Tiedetään hyvin, että äidin koulutuksella on suuri merkitys lapsen koulutusuran suhteen.

Pisa-tutkimus on kansainvälinen OECD-maiden välinen koulutusjärjestelmävertailu. Oppimisen arvioinnin tehtävä on tuottaa tietoa päätöksenteon tueksi. 

En ymmärrä, miksi Pisa 12:n otos on tarkoituksenhakuinen.

Nyt Suomessa toimittiin kuin Kiinassa, jossa otantaan valittiin vain muutama erityistalousalue, Shanghai, Hong Kong ja Macao. Meillä keskityttiin rannikkoruotsinkielisiin kouluhin ja maahanmuuttajakouluihin.

Jotta koulutusvertailulla olisi jotain kansainvälistä vertailuvuutta, otannan pitäisi olla mahdollisimman laaja sekä maantieteellisesti että ennen kaikkea sosiaalisesti. Mielestäni sekä ruotsinkielisten että maahanmuuttajataustaisten oppilaiden osaaminen olisi voitu tutkia aivan toisessa tutkimuksessa, irti Pisa-tutkimuksesta.

Nyt tuntuu siltä, että jauhot ja vellit ovat menneet sekaisin. 

Päättäjät eivät saa joutua Pisa-paniikkiin.

3 kommenttia:

  1. >Valtamedia on ollut jostain syystä hämmästyttävän hiljaa, ilmeisesti asian käsittely on poliittisesti epäkorrektia.

    Anteeksi, tämä kuulostaa hieman paranoidilta.

    Lehdistöllä joskus on tapana uskoa tieteilijöitä heidän tutkimustuloksistaan (ja se on usein myös *hyvä* tapa: liian usein tieteellisen tutkimustuloksen uutisointi on täysin pielessä koska toimittaja värittää tulosta tai muuten vain ymmärtää jotain väärin). Kun tilastotieteilijä sanoo, että yliedustetun ryhmän painoarvo lopullisissa tutkimustuloksissa palautetaan normaaliksi kertoimia säätämällä, on toimittajalta järkevää käytöstä uskoa tieteilijän tietävän mitä tekee.

    Moniko toimittaja (tai kukaan muukaan) ymmärtää tilastollisesta tutkimuksesta tarpeeksi kiinnittääkseen huomiota tähän ongelmaan? Soininvaara on siitä poikkeuksellinen että on tilastotieteilijä, suurin osa meistä ei ole.

    Mutta.

    >Kuinka syntyperäisten suomalaisten sosiaalinen jakauma on otettu tutkimuksessa huomioon?

    Eihän kommenttini tarkoita etteikö ylläoleva todella olisi tärkeä kysymys.

    Kenties tieteilijät tai heidän esimiehensä eivät todellakaan ole tietäneet tarpeeksi siitä mitä tekevät: tutkitaan samalla maahanmuuttajien koulumenestystä tarkasti kun tutkitaan muutenkin, poikkeamanhan voi toki faktoroida pois... (ei olisi yllätys, valitettavan usein tilastotieteen soveltajat eivät osaa kiinnittää juuri tällaisiin ongelmiin tarpeeksi huomiota).

    VastaaPoista
  2. Muuten, kannattaa lukea myös Soininvaara blogitekstin kommentit läpi: Soininvaara osallistuu joskus keskusteluun. Erityisesti tämä kohta on huomioinarvoinen:

    Osmo Soininvaara kirjoitti 12.12.2013 kello 15:17:


    Tein tämän kysymyksen otannan vääristävästä vaikutuksesta sen raportin pohjalta, joka oli saatavilla. Siinä oli sanottu, että oikaisu tehtiin vain siten, että maahanmuuttajien osuus korjattiin. Tuo otantatapa on ilmeisesti fiksumpi, joten oletettu vääristä vaikutus on pienempi, myönnän


    Kun en tiedä, kuinka yksityiskohtaista otoksen oikaisua käytetään, en pysty päättelemään, korjautuuko vääristävä vaikutus kokonaan. Minua huolestuttaa tämä Seppo Laaksosen kommentissakin paistava seikka, että myyttyjan x vaikutus muuttujaan y voitaisiin päätellä yksinkertaisella ristiintaulukoinnilla. Sillä saadaan näitä jäätelönmyynti ja hukkumiskuolema -riippuvuuksia.


    Se, että koulut, joissa ei ole yhtään maahanmuuttajaa ovat huonompia kuin koulut, joissa niitä on vähän, johtuu ilmiselvästi siitä, että maaseudulla kuunnat noin ylipäänsä ovat huonompia kuin kaupungeissa. Muut oppimistuloksiin liittyvä seikat pitää ottaa mukaan selvitettäessä maahanmuuttajakoulujen ylipainotuksen ongelmaa. Voi olla, että tuo otantamenetelmä osaa korjata moniulotteiset riippuvuudet.


    Mitä yhä epäilen on, että liian pienelle painolle jäävät parhaat koulut, eli kaupunkien eliittialueilla olevat koulut. Niiden todennäköisyys päästä otokseen on pieni, koska kaupunkien kvootti menee noihin maahanmuuttajakouluihin.

    VastaaPoista
  3. Tilastotieteessä tämä tunnetaan nimellä "vääristynyt otos". Raportissa todetaan, että mamujen osuus on tilastollisin menetelmin vakioitu normitasolle. Tämä jättää kuitenkin huomioitta sen, että mamuvaltaisissa kouluissa olevat suomalaiset eivät ole (välttämättä) edustava otos kaikista suomalaisista.

    Ainakin minulle on kerrottu, että tietyiltä seuduilta tulevat mamuoppilaat ovat resurssisyöppöjä, jotka heikentävät muiden oppilaiden tuloksia. Tällä perusteella voi blogistin tavoin suhtautua lievää törkeämmällä epäilyksellä siihen, että tutkimustulos ei vastaa todellisuutta.

    VastaaPoista