Diferença entre quantis

Question

Pelo que entendi de sua definição, as fronteiras de quantis devem dividir um conjunto de dados em partes iguais (ou pelo menos em partes quase iguais, se o conjunto de dados não tiver entradas suficientes ou tiver um número ímpar de elementos). Usei a pandasfunção quantilepara obter quartis do meu conjunto de dados:

tquantiles = rawData['t'].quantile([0.25,0.5,0.75])

A saída mostra valores de borda de quantil:

0.25    -3.1
0.50     6.7
0.75    15.6
Name: t, dtype: float64

rawData é o resultado de uma consulta SQL:

rawData = sqlio.read_sql_query('SELECT * ' +
'FROM cards ' +
'INNER JOIN weather ' +
'on ceil_time_3h(event_date) = weather.datetime', conn)

Portanto, assumindo que os quantis são iguais, tento comparar a quantidade de objetos entre os valores nomeados:

SELECT count("t") AS "25" FROM cards
INNER JOIN weather
on ceil_time_3h(event_date) = weather.datetime
WHERE t >= 15.6;

Isso é para os 25% melhores. Alterando os valores, selecionei os quartis, incluindo a borda esquerda. Esses valores não são iguais: 128829, 130150, 130250, 130266 para abaixo de 25%, 50%, 75% e acima de 75%, respectivamente. Além disso, a soma dessas contagens é menor do que o número de elementos no conjunto de dados.

Como os quantis diferem uns dos outros no meu caso? Por que a soma difere do número de elementos no conjunto de dados?

Answer 1

Parece que seus dados são medidos com resolução de 0,1 e que o intervalo é de pelo menos 18,7. Meu palpite, dada a menção de "clima", é que são temperaturas Celsius.

Vamos supor que a variável tenha um intervalo de 50 nessas unidades: as caudas além dos quartis são frequentemente mais longas do que a diferença entre os quartis. Isso significaria da ordem de 500 valores distintos.

Parece que o tamanho da sua amostra é da ordem de 500.000, então, em média, cada valor distinto ocorre cerca de 1.000 vezes e os empates estão por toda parte.

Também é inteiramente possível que seus dados sejam mais estranhos do que se leituras humanas estiverem envolvidas. Muitos observadores usam alguns dígitos finais em vez de outros, embora as peculiaridades possam variar, incluindo preferências por 0 e 5 como dígitos finais ou até mesmo dígitos.

É provável que empates sejam o problema, junto com uma regra de que os mesmos valores devem ser atribuídos ao mesmo compartimento.