Sannolikhetslära och Blindtester

Den här diskussionen påbörjades i en annan tråd, men förtjänade en egen. // alpha

Nej, behövs inte tusentals tester om du tror det. 18 av 20 är statistiskt säkerhetställd att DU hörde skillnad.

Och varför blanda in statistik överhuvudtaget när det vi vill veta är om det finns skillnader och gärna vilka skillnader.

Varför? Om man har rätt 2 av 20 så betyder ju inte det att man kunde skilja alls, för det är inte statistiskt säkerhetställd att man inte kunde gissa rätt.

<{POST_SNAPBACK}>

Har man 2 rätt av 20 så är ju det ett lika starkt bevis på att man kunde höra skillnad som 18 av 20, det ända som är skillnaden är att man har sagt A när det är B och vice versa (iaf i 18 fall av 20). Det är ju en lika stark korrelation som 18 av 20 fast med omvänt tecken.

Redigerat av Unregisteredc7194d09, 16 August 2007 - 20:48.

Har man 2 rätt av 20 så är ju det ett lika starkt bevis på att man kunde höra skillnad som 18 av 20, det ända som är skillnaden är att man har sagt A när det är B och vice versa (iaf i 18 fall av 20). Det är ju en lika stark korrelation som 18 av 20 fast med omvänt tecken.

<{POST_SNAPBACK}>

Nu tänkte du nog fel. Om du lyssnar på två apparater blint och kryssar för A och B för du tror dig skilja dom åt, så är 2 av 20 underkännt. Du har sämre resultat än slumpen.

Har man 2 rätt av 20 så är ju det ett lika starkt bevis på att man kunde höra skillnad som 18 av 20, det ända som är skillnaden är att man har sagt A när det är B och vice versa (iaf i 18 fall av 20). Det är ju en lika stark korrelation som 18 av 20 fast med omvänt tecken.

<{POST_SNAPBACK}>

Nu tänkte du nog fel. Om du lyssnar på två apparater blint och kryssar för A och B för du tror dig skilja dom åt, så är 2 av 20 underkännt. Du har sämre resultat än slumpen.

<{POST_SNAPBACK}>

Att positivt kunna skilja mellan två produkter är inte det ända beviset för skillnad, att negativt kunna skilja dem åt är också ett bevis för skillnad.

Om vi genomför ett helt slumpmässigt försök där det finns två utfall kommer väntevärdet för utfall ett och väntevärdet för utfall två båda två närma sig 0,5 när antalet försök går mot oändligheten.

Om det nu är en skillnad mellan två utfall så kommer det synas på väntevärdena på de två fallen och givet tillräckligt många försök. Om man tänker sig att försöket går ut på att identifiera förstärkaren A i ett test mellan A och B, så kommer sannolikheten för att identifiera A vara 18/20=0,9 i ditt fall, men i mitt fall så är den 2/20=0,1, dvs för att jag ska kunna identifiera A så behöver jag bara reversera alla mina utfall för att få lika stor sannolikhet som dig

Att positivt kunna skilja mellan två produkter är inte det ända beviset för skillnad, att negativt kunna skilja dem åt är också ett bevis för skillnad.

<{POST_SNAPBACK}>

Nej, tyvärr så har du missuppfattat detta helt. Om du har fel 18 gånger av 2 så är det ett negativt resultat. Du kunde alltså inte skilja på dom.

Nu förstår jag varför alla blindtester har misslyckats

Ta några kurser i statistik och stokastiska processer och återkom med ett matematiskt resonemang som motbevisar mig nin, ett "Nej du har missuppfattat detta" är inte särskilt vetenskapligt

I ett blindtest mellan A och B är det sämsta resultatet 0,5 alltså hälften rätt och hälften fel (givet att du vill påvisa en skillnad förstås). Om du har 100% rätt eller 0% rätt så har du bevisat att det är en skillnad, givet tillräckligt många försök.

Det jag vill säga är att en korrelation på 1 är lika bra som -1 när man vill bevisa skillnaden mellan två enheter, en korrelation på 0 är dålig.

I ett blindtest mellan A och B är det sämsta resultatet 0,5 alltså hälften rätt och hälften fel (givet att du vill påvisa en skillnad förstås). Om du har 100% rätt eller 0% rätt så har du bevisat att det är en skillnad, givet tillräckligt många försök.

Det jag vill säga är att en korrelation på 1 är lika bra som -1 när man vill bevisa skillnaden mellan två enheter, en korrelation på 0 är dålig.

<{POST_SNAPBACK}>

Nu var det visserligen 15 år sedan jag läste MatStat men ditt resonemang låter inte så tokigt i mina öron i varje fall.

Nu förstår jag varför alla blindtester har misslyckats 

Ta några kurser i statistik och stokastiska processer och återkom med ett matematiskt resonemang som motbevisar mig nin, ett "Nej du har missuppfattat detta" är inte särskilt vetenskapligt

I ett blindtest mellan A och B är det sämsta resultatet 0,5 alltså hälften rätt och hälften fel (givet att du vill påvisa en skillnad förstås). Om du har 100% rätt eller 0% rätt så har du bevisat att det är en skillnad, givet tillräckligt många försök.

Det jag vill säga är att en korrelation på 1 är lika bra som -1 när man vill bevisa skillnaden mellan två enheter, en korrelation på 0 är dålig.

<{POST_SNAPBACK}>

Ja, det låter som logik bakom detta.

Jag avfädar inte blindtester fullständigt, det kan vara en alternativ metod i vissa fall självklart. Men här på trådarna har man rejält lyckats bara skämma ut blindtestandet. Iallafall för mig låter det som så krångliga tester där man försöker få ett visst utfall + att man lever på skepticism mot allt.

Skulle det således vara stora skillnader i ett Blindtest skulle det ALDRIG vara accepterat av vissa på dom här trådarna, utan då har man som sagt testat fel, eller inte nivåmatchat korrekt eller råkat ha en kopp kaffe med sig.

I ett blindtest mellan A och B är det sämsta resultatet 0,5 alltså hälften rätt och hälften fel (givet att du vill påvisa en skillnad förstås). Om du har 100% rätt eller 0% rätt så har du bevisat att det är en skillnad, givet tillräckligt många försök.

Det jag vill säga är att en korrelation på 1 är lika bra som -1 när man vill bevisa skillnaden mellan två enheter, en korrelation på 0 är dålig.

<{POST_SNAPBACK}>

Nu var det visserligen 15 år sedan jag läste MatStat men ditt resonemang låter inte så tokigt i mina öron i varje fall.

<{POST_SNAPBACK}>

Min statistik är färskare och jag kan inte hitta några direkta fel heller.

MVH
/CHuck

Nu förstår jag varför alla blindtester har misslyckats 

Ta några kurser i statistik och stokastiska processer och återkom med ett matematiskt resonemang som motbevisar mig nin, ett "Nej du har missuppfattat detta" är inte särskilt vetenskapligt

I ett blindtest mellan A och B är det sämsta resultatet 0,5 alltså hälften rätt och hälften fel (givet att du vill påvisa en skillnad förstås). Om du har 100% rätt eller 0% rätt så har du bevisat att det är en skillnad, givet tillräckligt många försök.

Det jag vill säga är att en korrelation på 1 är lika bra som -1 när man vill bevisa skillnaden mellan två enheter, en korrelation på 0 är dålig.

<{POST_SNAPBACK}>

Vi tar det igen. Du ska skriva om du hör A eller B när du testar blint. Man spelar 20 gånger, där man byter spelare slumpmässigt. Du prickar bara in 2 rätt av 20. Alltså, har gissat/trott fel 18 gånger. Du har alltså sagt det är A eller B 18 gånger när det varit tvärtom.

Vi tar det igen. Du ska skriva om du hör A eller B när du testar blint. Man spelar 20 gånger, där man byter spelare slumpmässigt. Du prickar bara in 2 rätt av 20. Alltså, har gissat/trott fel 18 gånger. Du har alltså sagt det är A eller B 18 gånger när det varit tvärtom.

<{POST_SNAPBACK}>

Vad skulle du säga om en person gissar fel på alla 20 försöken då? Skulle du då hävda att det är slumpen som gör det eller att den personen faktiskt har hört skillnad?

Vad skulle du säga om en person gissar fel på alla 20 försöken då? Skulle du då hävda att det är slumpen som gör det eller att den personen faktiskt har hört skillnad?

<{POST_SNAPBACK}>

Beror på hur man lägger upp testet.

Beror på hur man lägger upp testet.

<{POST_SNAPBACK}>

Hur skulle detta testupplägg se ut?


Sannolikheten för att man skall gissa rätt på 20 av 20 (eller för den delen fel på 20 av 20) är ungefär en på miljonen (1/0.5^20). Jag skulle tro att en person som gissar fel på 20 av 20 har hört fel i den öppna lyssningen och blandat ihop A och B. Att man hör skillnad på A och B ligger i varje fall nära till hands att tro.

Det som borde vara intressantast att räkna ut är vad sannolikheten är att man har gissat i ett blindtest, dvs 1 = ren gissning rakt igenom eller 0 = ingen sannolikhet för gissning. Jag antar att det var exakt så du menade joakim, dvs:
2 rätt av 2 möjliga ger 0.25
0 rätt av 2 möjliga ger 1.0

Det kluriga är vad man gör med fallet då någon har 1 av 20 rätt. Det är tämligen osannolikt att få det resultatet, och jag håller med om att en rimlig förklaring kan vara att man har blandat ihop något. Men skall man verkligen anpassa sannolikhetsberäkningarna efter att någon kan ha gjort fel?

Det som borde vara intressantast att räkna ut är vad sannolikheten är att man har gissat i ett blindtest, dvs 1 = ren gissning rakt igenom eller 0 = ingen sannolikhet för gissning.  Jag antar att det var exakt så du menade joakim, dvs:
2 rätt av 2 möjliga ger 0.25
0 rätt av 2 möjliga ger 1.0

<{POST_SNAPBACK}>

Nja, riktigt så menade jag inte. Gör du två försök finns det fyra möjliga utfall (alla med samma sannolikhet om du gissar vilt = 0.25). R är rätt och F är fel.
RR
RF
FR
FF

Jag ser dock inte framför mig något enkelt att värdera utifrån ett sannolikhetsperspektiv om individen har gissat eller bara haft en dålig dag.

Men skall man verkligen anpassa sannolikhetsberäkningarna efter att någon kan ha gjort fel?

<{POST_SNAPBACK}>

Jag är inte riktigt med på vad du menar med detta.

Beror på hur man lägger upp testet.

<{POST_SNAPBACK}>

Hur skulle detta testupplägg se ut?


Sannolikheten för att man skall gissa rätt på 20 av 20 (eller för den delen fel på 20 av 20) är ungefär en på miljonen (1/0.5^20). Jag skulle tro att en person som gissar fel på 20 av 20 har hört fel i den öppna lyssningen och blandat ihop A och B. Att man hör skillnad på A och B ligger i varje fall nära till hands att tro.

<{POST_SNAPBACK}>

Som sagt, beror på hur man lägger upp testet.
T ex så hade insider ett test med en tarokvinna som skulle se i sina kort vilka 16 böcker det var i 16 olika boxar. Hon missa alla, alltså satt fel titeln på varje box. Det är alltså statistiskt klart att hon misslyckades helt.

Om det vore så man gör blindtestet så att man markera när man tror sig höra att man byter spelare, och får 2 av 18, så har man också missat.

Det som borde vara intressantast att räkna ut är vad sannolikheten är att man har gissat i ett blindtest, dvs 1 = ren gissning rakt igenom eller 0 = ingen sannolikhet för gissning.  Jag antar att det var exakt så du menade joakim, dvs:
2 rätt av 2 möjliga ger 0.25
0 rätt av 2 möjliga ger 1.0

<{POST_SNAPBACK}>

Nja, riktigt så menade jag inte. Gör du två försök finns det fyra möjliga utfall (alla med samma sannolikhet om du gissar vilt = 0.25). R är rätt och F är fel.
RR
RF
FR
FF

Jag ser dock inte framför mig något enkelt att värdera utifrån ett sannolikhetsperspektiv om individen har gissat eller bara haft en dålig dag.

Jag funderade på om man skulle kunna använda Binomial distribution för att räkna ut det där.

RR ger 0.25, det är vi överens om. Och visst, om du gissar är sannolikheten att träffa någon av de fyra kombinationerna 0.25. Om vi får FF (sannolikhet 0.25 om man gissat) skulle man också kunna säga att sannolikheten att man har gissat sig igenom hela blindtester är 100%(?). Jag menar, om du inte har gissat så kan du omöjligen ha fått FF.

istället för att börja diskutera fördelningar osv skulle det vara en fördel om alla kunde lära sig signifikansnivåer för hypotesprövning. Detta finns i de mest elementära böckerna om statistik, finns säkerligen på en mängd sidor på nätet också.

Edit: en nollhypotes kan vara att "personer kan höra skillnad mellan två uppsättningar". Sen väljer ni signifikansnivå (ofta betecknad alfa om ni letar efter det på nätet), varefter ni genomför ert blindtest. Därefter förkastar ni nollhypotesen alternativt bekräftar den, med en viss signifikansnivå.

Redigerat av pelle1, 16 August 2007 - 21:54.

Men skall man verkligen anpassa sannolikhetsberäkningarna efter att någon kan ha gjort fel?

<{POST_SNAPBACK}>

Jag är inte riktigt med på vad du menar med detta.

<{POST_SNAPBACK}>

Om vi säger att vi av ett blindtest kräver att sannolikheten att klara testet genom att gissa får högst vara <0.004 (man måste klara 8 rätt av 8 exempelvis). Om vi även skulle godkänna 0 rätt av 8, dvs att det också skulle räknas som att man har klarat testet, då är ju sannolikheten att man har gissat sig igenom testet inte längre < 0.004, utan kanske <0.008.

Eller tänker jag fel här? Vad jag menade var att om man utgår från att man måste klara < 0.004 så måste man i förväg ha bestämt om man skall godkänna 0 rätt som att man har klarat testet. Godkänner man 0 rätt så accepterar man kanske 0 av 9 och 9 av 9 som positiva resultat, men om man inte godkänner 0 så uppnår man samma tillförlitlighet genom att nöja sig med att acceptera 8 av 8.

Det börjar bli lite sent nu så du får ursäkta om det skulle brista lite i logiken.

istället för att börja diskutera fördelningar osv skulle det vara en fördel om alla kunde lära sig signifikansnivåer för hypotesprövning. Detta finns i de mest elementära böckerna om statistik, finns säkerligen på en mängd sidor på nätet också.

Den enda bok om matematisk statistik som jag äger ligger i källaren och samlar damm

Edit: en nollhypotes kan vara att "personer kan höra skillnad mellan två uppsättningar". Sen väljer ni signifikansnivå (ofta betecknad alfa om ni letar efter det på nätet), varefter ni genomför ert blindtest. Därefter förkastar ni nollhypotesen alternativt bekräftar den, med en viss signifikansnivå.

<{POST_SNAPBACK}>

Men kan man inte använda de två första formlerna i avsnittet om Binomial distribution för att beräkna vilken signifikansnivå som exempelvis 19 rätt av 20 möjliga innebär. Eller är jag helt fel ute? All hjälp är givetvis välkommen.

Redigerat av alpha, 16 August 2007 - 22:06.

Den här diskussionen påbörjades i en annan tråd, men förtjänade en egen. // alpha

Nej, behövs inte tusentals tester om du tror det. 18 av 20 är statistiskt säkerhetställd att DU hörde skillnad.

Och varför blanda in statistik överhuvudtaget när det vi vill veta är om det finns skillnader och gärna vilka skillnader.

Varför? Om man har rätt 2 av 20 så betyder ju inte det att man kunde skilja alls, för det är inte statistiskt säkerhetställd att man inte kunde gissa rätt.

<{POST_SNAPBACK}>

Har man 2 rätt av 20 så är ju det ett lika starkt bevis på att man kunde höra skillnad som 18 av 20, det ända som är skillnaden är att man har sagt A när det är B och vice versa (iaf i 18 fall av 20). Det är ju en lika stark korrelation som 18 av 20 fast med omvänt tecken.

<{POST_SNAPBACK}>

Jag måste bara hålla med

Mathias har ju helt rätt i sitt första inlägg.

Det där med 18 rätt av 20 har ju nin lånat från faktiskt.se där det var någon som erbjöd pengar om någon annan skulle klara att hör skillnad på högtalarkablar 18 gånger av 20.

Någon djupare analys av statistiken har nog inte utförts innan uppgiften började användas.

Man behöver 18/20 (el liknande) som nin säger.
Tänk om testledaren först spelar kabel A och testpersonen gissar på kabel A = 1 rätt
Sedan byter han till kabel B och testpersonen gissar på kabel B = 2 rätt

Sen så fortsätter testledaren med kabel B men testpersonen gissar på A = fortfarande 2 rätt

Efter detta så fortsätter testledaren med Kabel B hela testet genom men testpersonen hör ingen skillnad vilket betyder att han fortsätter gissa på A.

Totalt får han då 2 av 20 rätt.

Hade testet däremot gått ut på att testledaren MÅSTE byta mellan A och B varje gång så stämmer det Mattias.B sade och 2 av 20 hade varit lika signifikant som 18 av 20, men så funkar det som sagt inte.

"det beror på hur testet är upplagt" verkar ha varit en ganska rimlig invändning.....

Sannolikheten att klara kravet på 18 av 20 rätt genom att bara gissa får jag till 0.002 (1 gång på 5000 försök).

Sannolikheten att klara 7 av 7 rätt genom att gissa är 0.008

All hyll till Mathias i sina inlägg, då han sannerligen bevisar att han har koll på läget, samt vet vad han pratar om och dessutom lägger fram det på ett mycket lätt och bra sätt. Precis som han lite skämtsamt skriver, så är vore det nog kanske inte fel "för vissa" att ta ngr kurser i statistik, för att sedan komma tillbaka och på så vis kunna se lite "nyktrare" på den fakta som han faktiskt mycket riktigt lägger fram.

Visst, man kan alltid ifrågasätta, men man gör nog ändå bäst att i längden inse att här får jag faktiskt klara och raka/riktiga besked på mina frågor/påståenden.

All hyll till Mathias i sina inlägg, då han sannerligen bevisar att han har koll på läget, samt vet vad han pratar om och dessutom lägger fram det på ett mycket lätt och bra sätt. Precis som han lite skämtsamt skriver, så är vore det nog kanske inte fel "för vissa" att ta ngr kurser i statistik, för att sedan komma tillbaka och på så vis kunna se lite "nyktrare" på den fakta som han faktiskt mycket riktigt lägger fram. 

Visst, man kan alltid ifrågasätta, men man gör nog ändå bäst att i längden inse att här får jag faktiskt klara och raka/riktiga besked på mina frågor/påståenden.

<{POST_SNAPBACK}>

Japp jag håller med men hans resonnemang håller bara om man som testledare byter mellan A och B varannan gång vilket man inte bör/ska göra.

All hyll till Mathias i sina inlägg, då han sannerligen bevisar att han har koll på läget, samt vet vad han pratar om och dessutom lägger fram det på ett mycket lätt och bra sätt. Precis som han lite skämtsamt skriver, så är vore det nog kanske inte fel "för vissa" att ta ngr kurser i statistik, för att sedan komma tillbaka och på så vis kunna se lite "nyktrare" på den fakta som han faktiskt mycket riktigt lägger fram. 

Visst, man kan alltid ifrågasätta, men man gör nog ändå bäst att i längden inse att här får jag faktiskt klara och raka/riktiga besked på mina frågor/påståenden.

<{POST_SNAPBACK}>

Japp jag håller med men hans resonnemang håller bara om man som testledare byter mellan A och B varannan gång vilket man inte bör/ska göra.

<{POST_SNAPBACK}>

Byter man mellan A och B varannan gång (ABABABAB) är ju sannolikheten att peka ut A 50% även om man gissar, så jag håller med om att det upplägget inte håller

Precis som jag sa innan, det beror på hur testet är upplagt.

Hmm.

För att mina funderingar ska stämma så måste givetvis de olika försöken vara oberoende, alltså försök 7 måste vara helt oberoende av alla andra försök osv.

Sen tror jag att jag hittat fel i mina inledande beräkningar Om man utgår ifrån en binomialfördelning av utfallen så blir sannolikheten att få 18 av 20 rätt 0,000201 precis som alpha säger. Får skylla på min förkylning

Men jag tror inte att binomialfördelningen är den bästa att använda för detta syfte egentligen, för den tar inte på något sätt hänsyn till försökspersonernas "förmåga" att höra skillnad mellan olika produkter. Det har också tydligen visat sig att jämför man utfall från blindtester så stämmer inte testresultatet överens med de förutsättningar som binomialfördelningen säger:

Statistical analysis of listening test results suggested to date have all been based on the binomial distribution. In the case of multiple audience tests, this assumption does not allow for differences in hearing acuity (i.e., varying ability to detect differences among equipment). The result is an overly optimistic estimate of the confidence interval for the p value, or premature rejection of the null hypothesis that there are no differences among equipment. This paper proposes the use of a compound distribution called Polya-Eggenberger distribution, which allows for variation in hearing acuity across the audience. A preliminary analysis of some real world data indicated that it is able to replicate the observed mean and variance of real data to a much better degree than the binomial distribution can.

Ovanstående från Audio Engeneering Society

Men kan man inte använda de två första formlerna i avsnittet om Binomial distribution för att beräkna vilken signifikansnivå som exempelvis 19 rätt av 20 möjliga innebär. Eller är jag helt fel ute? All hjälp är givetvis välkommen.

<{POST_SNAPBACK}>

Menar du medelvärde och varians? I så fall är medelvärdet 10 och variansen 5 vid 20 oberoende försök med sannolikhet 0,5 för varje utfall.