Statistika - praktični saveti

[Eddard]

Prvi da pitam, jel ima statističara na forumu? Potrebna mi je pomoć oko analize neke studije.

 

A tema može da ostane za pitanja i pomoć oko statističkih analiza.

[DameTime]

Zavisi šta treba. Imam iskustva ali sam malo zarđala u poslednje 2-3 godine.

 

Ako se dobro sećam, čini mi se da je i @Malkolm Brogdon u materiji.

[Malkolm Brogdon]

Ja sam verovatno jos vise zardjao s obzirom da je to nakon faksa ostao samo kao povremeni hobi.

[Div]

3 hours ago, Eddard said:

Prvi da pitam, jel ima statističara na forumu? Potrebna mi je pomoć oko analize neke studije.

 

A tema može da ostane za pitanja i pomoć oko statističkih analiza.

Jel potrebno znanje iz konkretne oblasti ili računanja, proseci, broj pojavljivanja, unakrsni proračuni? Je li uopšte rad sa brojevima?

[Eddard]

Konkretno inter- i intra-observer reliability proračun.

[DameTime]

Mora to još malko preciznije, doktore. 😁  Kakve podatke imaš, kako ih inače obrađuješ (koji softver koristiš)...

 

Najpoznatija mera koju ja znam je ICC (Interclass Correlation Coefficient), koja meri udeo prave varijanse u odnosu na ukupnu varijansu. Može da ide od 0-1 i što je koeficijent (tj. tvoj rezultat) bliži jedinici, to je veći reliability. Ovo je ako imaš kontinuirane tj. numeričke podatke i ako su ti ispitanici podeljeni u grupe tj. klastere (npr. pacijenti u različitim klinikama).

 

Ako imaš kategoričke podatke, onda Kappa koeficijent (ima više varijanti, ne mogu da se setim ovako iz glave, čini mi se na osnovu toga da li imaš nominalne ili ordinalne varijable). U suštini, opservacije ispitanika se svrstavaju u diskretne kategorije, onda se gleda gde se (ne) slažu, plus se uračunava verovatnoća da se oni slučajno (ne) slože. 

Edited 7 hours ago by DameTime

[Eddard]

24 minutes ago, DameTime said:

Mora to još malko preciznije, doktore. 😁  Kakve podatke imaš, kako ih inače obrađuješ (koji softver koristiš)...

 

Najpoznatija mera koju ja znam je ICC (Interclass Correlation Coefficient), koja meri udeo prave varijanse u odnosu na ukupnu varijansu. Može da ide od 0-1 i što je koeficijent (tj. tvoj rezultat) bliži jedinici, to je veći reliability. Ovo je ako imaš kontinuirane tj. numeričke podatke i ako su ti ispitanici podeljeni u grupe tj. klastere (npr. pacijenti u različitim klinikama).

 

Ako imaš kategoričke podatke, onda Kappa koeficijent (ima više varijanti, ne mogu da se setim ovako iz glave, čini mi se na osnovu toga da li imaš nominalne ili ordinalne varijable). U suštini, opservacije ispitanika se svrstavaju u diskretne kategorije, onda se gleda gde se (ne) slažu, plus se uračunava verovatnoća da se oni slučajno (ne) slože. 

 

Vid ti nje.

 

Elem, nominalne vrednosti su u pitanju, radi se o pouzdanosti jedne klasifikacije preloma, koja ima 9 kategorija. 7 ratera u 3 različita vremena. 

 

Ono što sam ja našao je Fleiss Kappa za više od 2 ratera, Cohen Kappa za 2.

 

Skinuo sam trial spss-a, on može da računa Fleiss, verovatno i Cohen.

 

Ali, ne znam šta radim 😂.

[DameTime]

11 minutes ago, Eddard said:

Vid ti nje.

 

Elem, nominalne vrednosti su u pitanju, radi se o pouzdanosti jedne klasifikacije preloma, koja ima 9 kategorija. 7 ratera u 3 različita vremena. 

 

Oki, znači Kappa it is.

 

11 minutes ago, Eddard said:

Ono što sam ja našao je Fleiss Kappa za više od 2 ratera, Cohen Kappa za 2.

 

E to su ti kojih nisam mogla da se setim.

 

11 minutes ago, Eddard said:

Skinuo sam trial spss-a, on može da računa Fleiss, verovatno i Cohen.

 

Ima oba.

 

11 minutes ago, Eddard said:

Ali, ne znam šta radim 😂.

 

Ništa, organizovaćemo ti neke časove. 😜

 

Šalu na stranu, SPSS je prilično intuitivan, ovako napamet trebalo bi da je u delu Analyze -> Descriptive statistics -> Crosstabs.
 

Možda ovo pomogne: https://statistics.laerd.com/spss-tutorials/cohens-kappa-in-spss-statistics.php

 

Interpretaciju već ne mogu napamet, ne sećam se ni ja najbolje tj. morala bih već da se podsetim.

[Eddard]

Pazi, ja sam to odradio i dobio sam neke vrednosti, ali nemam pojma da li je to to.

 

U kolone sam stavio raters (7), a u redove prelome (50), svaki rater je u T1 (vreme 1, ostala vremena nisam računao) dao svakom prelomu vrednost od 1-9 (nominalna, ne ordinarna) jer ima 8 kategorija u klasifikaciji, plus jedna "nije moguće klasifikovati" i onda pustio tu tabelu kroz spss, po uputstvu koje sam našao i dobio ovo:

 

 

Sorry na screenshotu, bukvalno je Screenshot, boomer, znam.

Edited 6 hours ago by Eddard

[DameTime]

Nije bumerski, ne postoji drugi način da mi pokažeš. 😁

 

Okej, snašao si se za sve osim za interpretaciju... Što si mogao odmah i da kažeš. 😂

 

Mislim da si okej uradio, mada proveriću još jednom. Iz ovog vidimo da je Kappa koef. statistički značajan na 99% CI (prob. greške je <.01), ali nizak. Gornja i donja granica za Kappa koef. su pak okej, ta margina nije previše "široka" (npr. da tvrdimo sa 95% sigurnosti da je između 0.3 i 0.7, to bi značilo da smo 95% sigurni da može biti bilo gde između ove dve vrednosti, što nije baš precizno).

 

Ono što je problem tu i zašto je verovatno ovako nizak je što ti po klasifikacijama preloma imaš poprilične razlike u proceni, odnosno imaš 4 individualna Kappa koef. koja nisu statistički značajna, čak sa jednom negativnom Kappom (znači uopšte nema slaganja) tj. procenitelji se u ovoj vremenskoj tački ne slažu u proceni u velikoj meri.

Zato bi ti bio koristan crosstabs da vidiš gde su tačno neslaganja.

Edited 5 hours ago by DameTime

[Eddard]

47 minutes ago, DameTime said:

Zato bi ti bio koristan crosstabs da vidiš gde su tačno neslaganja

 

E, ovde mi treba pomoć, španska sela 😁.

 

To da je Kappa nizak, to smo i hteli, to jest hipoteza je da je klasifikacija sranje, tj. nije pouzdana. 

[DameTime]

6 minutes ago, Eddard said:

E, ovde mi treba pomoć, španska sela 😁.

 

Probaj da porediš po raterima. Znači idi na Analyze -> Descriptive statistics -> Crosstabs i ubaci po parovima. Rater1 vs Rater2, Rater2 vs Rater3 itd. za sve klasifikacije preloma koje nisu statistički značajne (prema gornjem outputu, to su 3, 6, 7 i 9). Onda bi trebalo da vidiš gde dolazi do missmatchinga u proceni.

[Eddard]

@DameTime

Next:

Za intra-observer reliability se obično koristi običan Kappa (Cohens) za T1 i T2 (znači u dva vremena je jedan ispitivač klasifikovao iste prelome, samo randomizovano, naravno). E sad, mi smo im dali u 3 termina, samim tim ne može više Cohen, već mora i ovde Fleiss Kappa jer sam praktično posmatrao T1, T2 i T3 kao 3 različita ratera i dobio Kappa. Negde sam pročitao, ali ne znam da li je tačno, da mogu i da radim putem Cohens Kappa ali za parove T1 vs. T3, T1 vs. T2 i T3 vs. T3, pa onda izvučem srednju vrednost od te tri kappe za tog ratera. To sam i uradio, ali se razlikuje ta srednja vrednost od Fleiss Kappe, ne značajno (tipa .295 vs. .284), ali jel to ok. I šta je tačnije?

 

 

Pitao sam ChatGPT, objasnio mi manje više 😂.

[DameTime]

23 minutes ago, Eddard said:

@DameTime

Next:

Za intra-observer reliability se obično koristi običan Kappa (Cohens) za T1 i T2 (znači u dva vremena je jedan ispitivač klasifikovao iste prelome, samo randomizovano, naravno). E sad, mi smo im dali u 3 termina, samim tim ne može više Cohen, već mora i ovde Fleiss Kappa jer sam praktično posmatrao T1, T2 i T3 kao 3 različita ratera i dobio Kappa. Negde sam pročitao, ali ne znam da li je tačno, da mogu i da radim putem Cohens Kappa ali za parove T1 vs. T3, T1 vs. T2 i T3 vs. T3, pa onda izvučem srednju vrednost od te tri kappe za tog ratera. To sam i uradio, ali se razlikuje ta srednja vrednost od Fleiss Kappe, ne značajno (tipa .295 vs. .284), ali jel to ok. I šta je tačnije?

 

Pitao sam ChatGPT, objasnio mi manje više 😂.

 

Tehnički, Cohen's Kappa i Fleiss Kappa imaju istu formulu: k = (Po - Pe) / (1 - Pe) za Cohena (Po - posmatrano slaganje; Pe - stepen slaganja koje je rezultat slučajnosti) i k = (Pa - Pe) / (1 - Pe) za Fleiss (Pa - posmatrano slaganje i Pe - stepen slaganja kao rezultat slučajnosti).

 

Ono što je problem i zbog čega si dobio ovu razliku je to da Fleiss Kappa računa u jednoj iteraciji za sve ratere, dok si ti koristio 4 iteracije da dođeš do svog rezultata (tri puta Cohen i uprosečavanje). U svakom koraku računanja si "izgubio" deo varijanse. 

 

Zato bolje idi sa Fleiss Kappom.

 

To je inače fora sa svim višestrukim analizama (faktorskom, korelacionom). Tehnički to jeste kao da par puta radiš jednofaktorsku ili jednostruku korelaciju, formula i princip su isti, samo se u ponovljenim koracima gubi deo varijanse i zato se ne preporučuje.

Edited 1 hour ago by DameTime
reč

[Eddard]

Tvoje objašnjenje je bolje nego ChatGPT 😎