Differenza tra quantili

Question

Per quanto ho capito dalla sua definizione, i bordi del quantile dovrebbero dividere un set di dati in parti uguali (o almeno in parti quasi uguali, se il set di dati non ha abbastanza voci o ha un numero dispari di elementi). Ho usato la pandasfunzione quantileper ottenere i quartili dal mio set di dati:

tquantiles = rawData['t'].quantile([0.25,0.5,0.75])

L'output mostra i valori del bordo del quantile:

0.25    -3.1
0.50     6.7
0.75    15.6
Name: t, dtype: float64

rawData è il risultato di una query SQL:

rawData = sqlio.read_sql_query('SELECT * ' +
'FROM cards ' +
'INNER JOIN weather ' +
'on ceil_time_3h(event_date) = weather.datetime', conn)

Quindi, supponendo che i quantili siano uguali, provo a confrontare la quantità di oggetti tra i valori nominati:

SELECT count("t") AS "25" FROM cards
INNER JOIN weather
on ceil_time_3h(event_date) = weather.datetime
WHERE t >= 15.6;

Questo è per il 25% dei migliori. Modificando i valori, ho selezionato i quartili, compreso il bordo sinistro. Questi valori non sono uguali: 128829, 130150, 130250, 130266 rispettivamente per meno del 25%, 50%, 75% e oltre il 75%. Inoltre, la somma di questi conteggi è inferiore al numero di elementi nel set di dati.

In che modo i quantili differiscono l'uno dall'altro nel mio caso? Perché la somma differisce dal numero di elementi nel set di dati?

Answer 1

Sembra che i tuoi dati siano misurati con risoluzione 0,1 e che l'intervallo sia almeno 18,7. La mia ipotesi data la menzione di "tempo" è che sono temperature Celsius.

Supponiamo che la variabile abbia un intervallo di 50 in quelle unità: le code oltre i quartili sono spesso più lunghe della differenza tra i quartili. Ciò significherebbe dell'ordine di 500 valori distinti.

Sembra che la dimensione del campione sia dell'ordine di 500000, quindi in media ogni valore distinto si verifica circa 1000 volte e i legami sono ovunque.

È anche del tutto possibile che i tuoi dati siano più bizzarri di così se sono coinvolte le letture umane. Molti osservatori usano alcune cifre finali piuttosto che altre, sebbene le stranezze possano variare, comprese le preferenze per 0 e 5 come cifre finali o per cifre pari.

È probabile che il problema riguardi i legami, insieme a una regola secondo cui gli stessi valori devono essere assegnati allo stesso contenitore.