Atualização processual do Projeto Visão Zero

Tenho coletado lentamente (mas constantemente) dados de acidentes para cidades dos EUA reconhecidos pela Vision Zero Network no último mês e meio e estou feliz em dizer que estou quase terminando. Cerca de 90% das cidades têm dados coletados e registrados no repositório do projeto no GitHub e ainda estou esperando uma resposta ao meu pedido de dados de acidente de Albuquerque. Se você quiser conferir a planilha do Google com alguns metadados sobre as cidades, quantos dados estão disponíveis e links de fontes, você pode conferir aqui .

Todo esse projeto foi um grande exercício de persistência e, talvez o mais importante, paciência. Vasculhar portais de dados abertos da cidade e sites DOT estaduais pode ser demorado e frustrante. Isso é algo que aprendo quase sempre que procuro dados relevantes sobre acidentes. Algumas cidades têm sites Vision Zero bastante sólidos que incluem belos painéis com dados facilmente acessíveis. Algumas cidades parecem que seus sites foram construídos em 1995 e não são atualizados desde 2000.

Não tenho rastreado isso especificamente, mas parece que as cidades com melhor acesso a dados estão todas em estados bastante liberais/azuis. Chicago e Nova York recebem o primeiro prêmio aqui, e Bellevue, WA vem em segundo lugar. As cidades da Califórnia recebem uma menção honrosa porque a University of California-Berkeley tem talvez a ferramenta de consulta de dados de acidentes mais incrível que já vi . Sério, confira, mesmo que você não esteja muito interessado em estatísticas de transporte.

A qualidade e o acesso aos dados foram os principais pontos de discórdia ao longo deste projeto. Algumas cidades têm dados ali mesmo em seus sites Vision Zero, enquanto outras cidades não têm e eu tive que ir aos sites DOT estaduais para tentar encontrar bons dados. Depois de encontrar a ferramenta de consulta necessária, é um jogo de dados sobre o quão bem a ferramenta realmente funcionará e se ela me fornecerá dados com os quais posso trabalhar (acho que qualquer dado pode ser trabalhado e manipulado. Quero dizer apenas o campos que estou procurando). Por exemplo, a ferramenta do Departamento de Segurança Rodoviária da Flórida limitou os resultados a apenas 5.000 linhas, portanto, talvez eu pudesse executar apenas um ano de acidentes por vez. O site DOT do Texas permitiu que pelo menos 50.000 registros fossem retornados, mas mesmo assim descobri que ainda tinha que executar algumas consultas em blocos de 6 meses para San Antonio.

A organização dos dados foi fundamental ao longo deste projeto. Devido a restrições de consulta, às vezes estou baixando até 10 CSVs por cidade. Então, tentei manter um formato de rotulagem de arquivo consistente para cada conjunto de dados. A maioria dos dados está disponível no meu GitHub , mas também estou explorando o uso do Google Cloud para o projeto para alguns dos arquivos maiores que o GitHub não suporta. Além da organização, passar pelos conjuntos de dados de acidentes para cada cidade leva muito tempo, garantindo que os campos obrigatórios estejam lá e que não haja duplicatas incluídas por engano.

Quando chegar a hora de analisar os dados, a identificação de duplicatas será fundamental. Eu já identifiquei um potencial adesivo com alguns dos dados do acidente de San Antonio. Depois de combinar todos os conjuntos de dados, acabei com um quadro de dados com mais de 1 milhão de linhas (!) Para os anos de 2013 a 2022. Quando vi esse número, senti que deveria haver duplicatas nos dados. Com certeza, havia, mas não eram duplicatas que eu esperava. Cada acidente em San Antonio (e em muitas outras cidades) recebe um ID de acidente, geralmente uma sequência de números. O que aconteceu neste caso, quando há várias pessoas envolvidas em um acidente, o mesmo Crash ID é usado para cada indivíduo envolvido. Portanto, se houver uma colisão de 2 carros e o carro A tiver o motorista e um passageiro, enquanto o carro B tiver apenas o motorista, haverá 3 linhas com o mesmo ID de colisão, o que é um pouco frustrante. Tenho que fazer mais análises exploratórias e talvez até baixar novamente alguns dos dados.

Não usei muito o site DOT federal durante este projeto. Acho que vou assim que todos os dados das cidades forem coletados e procurarei no DOT federal alguns dados de milhas percorridas por veículos (VMT). Acho que combinar o VMT com os dados do acidente contará uma história bastante convincente sobre o sucesso ou o fracasso do Vision Zero nos Estados Unidos.

Então é onde estou agora com o Projeto Visão Zero. Meu objetivo é ter todos os dados disponíveis coletados e armazenados no GitHub ou no Google Cloud até 22 de fevereiro. Em seguida, começarei a fazer algumas análises e compartilhar algumas de minhas descobertas. Até lá, se você estiver dirigindo, dirija com cuidado e fique atento a pedestres e ciclistas. Se você estiver andando, esteja seguro e olhe para os dois lados. Se você estiver andando de bicicleta, fique iluminado como uma árvore de Natal!