Jak działa Google Flu Trends

Dec 12 2014
Rozwija się kaszel i wskakujesz do Internetu, aby wyszukać informacje o grypie. Google śledzi te wyszukiwania, aby przewidzieć geograficzne fale chorób. Ale jak dokładne są te przewidywania?
To naturalna część życia w erze informacji: zaczynasz czuć się chory, więc wyszukujesz w Google swoje objawy.

Zarówno zwykłe przeziębienie, jak i grypa sprawią, że poczujesz się nieszczęśliwy, a ponieważ oba są infekcjami dróg oddechowych z podobnymi objawami - kaszel, ból, ból głowy, znasz zasady - może być trudno stwierdzić, który z nich trzyma Cię w uścisku.

Każdego roku od 5 do 20 procent populacji USA zachoruje na grypę, głównie podczas zimowego odcinka między grudniem a lutym, co daje lub zajmuje kilka miesięcy [źródło: CDC ]. Chociaż wielu cierpiących na tę chorobę przyniesie ulgę w lekach dostępnych bez recepty, grypa może być groźna. Powikłania związane z grypą mogą wymagać hospitalizacji, a czasami mogą być śmiertelne. Grypa, wraz z zapaleniem płuc (oba są infekcjami dolnych dróg oddechowych), znalazła się na ósmym miejscu wśród najczęstszych przyczyn zgonów w USA w 2010 r., A infekcje dróg oddechowych były trzecią pod względem częstości przyczyną zgonów na świecie w tym roku (aż 3,2 mln osób) [źródło : CDC , CNBC ].

Ponieważ grypa sezonowa może powodować poważne komplikacje, Centers for Disease Control and Prevention (CDC) monitoruje choroby grypopodobne (ILI) w całych Stanach Zjednoczonych, śledząc i analizując aktywność grypy, aby uzyskać dobry obraz zapadalności, odsetka chorobowości i częstości występowania ILI przez cały rok [źródło: Harvard Health Publications ]. Do celów śledzenia CDC uważa, że ​​gorączka wynosząca co najmniej 100 stopni Fahrenheita (37,8 stopni Celsjusza) z kaszlem i / lub bólem gardła jest ILI.

CDC monitoruje te liczby za pomocą danych zebranych z wielu źródeł, w tym lokalnych i stanowych wydziałów zdrowia, 122 urzędów zdrowia publicznego i statystyk życiowych, prawie 3000 ambulatoryjnych placówek opieki zdrowotnej, ponad 270 laboratoriów i raportów z systemu nadzoru FluSurv-NET [źródło : CDC ]. Wszystkie te elementy są podzielone na pięć kategorii przydatnych informacji:

  1. Nadzór wirusowy - raporty laboratoryjne dotyczące liczby próbek pobranych z dróg oddechowych w tym tygodniu i procentu faktycznie potwierdzonej grypy
  2. Śmiertelność - dane dotyczące odsetka zgonów związanych z zapaleniem płuc i grypą (P&I) oraz zgłoszenia zgonów dzieci i młodzieży związanych z grypą
  3. Hospitalizacje - potwierdzone hospitalizacje związane z grypą
  4. Ambulatoryjny nadzór nad chorobami - śledzenie liczby wizyt ambulatoryjnych z powodu ILI
  5. Geograficzne rozprzestrzenianie się choroby - szacowany poziom aktywności grypy według stanu, który może być powszechny, regionalny, lokalny, sporadyczny lub brak aktywności

Począwszy od 40 tygodnia roku - czyli od początku sezonu grypowego od października do maja - CDC rozsyła cotygodniowe raporty o aktywności grypy.

Informacje, które rozpowszechnia CDC, mają być migawką aktualnych trendów grypy, a nie konkretną liczbą osób, które zachorowały na grypę w tym sezonie lub roku. Skupiono się na tym, czy występują epidemie grypy, gdzie zgłaszana jest grypa, kiedy została zgłoszona i które wirusy grypy są winne.

Chociaż dane opublikowane przez CDC zapewniają dokładny obraz trendów grypy, dane te, po ich skompilowaniu i przeanalizowaniu, mają również od jednego do dwóch tygodni. Nie można powiedzieć, czy w danym mieście pojawiła się nowa kieszeń grypy w ubiegły weekend, ale jest dobra do pomiaru ogólnego wpływu grypy na populację USA, a także do wydawania zaleceń dotyczących zdrowia publicznego związanych z grypą.

Na przykład poprzez monitorowanie, które szczepy grypy krążyły w sezonie grypowym 2014, epidemiolodzy z CDC byli w stanie stwierdzić na podstawie danych zebranych między 1 października a 22 listopada, że ​​jeden z trzech wybranych szczepów uwzględnionych w szczepionce przeciw grypie w tym roku zmutował, a szczepionka byłaby mniej skuteczna w tym sezonie.

Ale co by było, gdybyś chciał dowiedzieć się więcej o epidemii grypy, która rozprzestrzenia się w pobliskim mieście? Google chciałoby w tym pomóc.

Informacje o Google Flu Trends

Prawie trzy czwarte Amerykanów szukało w Internecie informacji dotyczących zdrowia w zeszłym roku.

Aż 72 procent dorosłych Amerykanów przyznaje, że w ciągu ostatniego roku szukało w Internecie informacji na temat zdrowia - to około 90 milionów ludzi, głównie poszukujących informacji na temat konkretnych schorzeń, takich jak kaszel lub grypa, lub metod leczenia, takich jak antybiotyki. Ponad trzy czwarte osób, które wyszukują informacje zdrowotne w Internecie, rozpoczyna poszukiwania w Google, Bing lub Yahoo [źródła: Fox , Ginsberg ]. Zastanów się, jakie informacje znajdują się w tych bazach danych wyszukiwarek. Cóż, Google tak.

Google Flu Trends (GFT) to internetowe narzędzie do monitorowania grypy, które wykorzystuje zagregowane dane wyszukiwań do przewidywania trendów grypy w ponad 25 krajach, w tym w USA. Projekt rozpoczął się w 2008 r. Jako inicjatywa filantropijnej filii Google, Google.org, po tym, jak pomysł zrodził się z zaobserwowanych sezonowych skoków niektórych rodzajów wyszukiwanych haseł.

Na przykład, gdy pojawiają się wiosenne alergie, częściej szukamy leków przeciwhistaminowych niż w okresie zimowego sezonu grypowego, kiedy częściej szukamy informacji o naszych objawach przeziębienia i grypy, takich jak gorączka lub dreszcze.

Inżynierowie Google wykorzystali pięć lat historycznych dużych zbiorów danych - i mamy na myśli duże. Skorzystali ze swojej bazy danych zawierającej 50 milionów najczęściej używanych wstępnie przefiltrowanych zapytań, aby ustalić punkt odniesienia dla ogólnej aktywności grypy. Początkowy algorytm narzędzia do przewidywania opierał się wyłącznie na regionalnych danych dotyczących zapytań związanych z grypą (regionalnych na podstawie adresu IP), w tym na tematach nadrzędnych, takich jak ogólne objawy grypy, leki na przeziębienie i leki przeciwwirusowe.

Algorytm porównuje dane wyszukiwanych haseł w czasie rzeczywistym - słowo lub frazę, której użyłeś jako wyszukiwanego hasła, np. „Ból gardła” - z wartością wyjściową, aby określić poziomy regionalnej aktywności grypy, obejmując pięć klasyfikacji od minimalnej do intensywnej. Teoretycznie GFT może dostarczać bieżące raporty (prawie w czasie rzeczywistym) o aktywności grypy i przewidywać epidemie grypy na tygodnie przed skompilowaniem raportu przez CDC.

Jednak według wynalazców GFT raportowanie w czasie rzeczywistym GFT ma być wykorzystywane jako informacja uzupełniająca do danych klinicznych i wirusologicznych w tradycyjnym nadzorze (CDC i jego sieci). Szybkie wykrywanie GFT ma pomóc we wczesnym wykrywaniu nie tylko epidemii grypy, ale także identyfikacji szczepów wirusa i potencjału pandemii.

GFT: aktualizacje modeli, dokładność i pułapka dużych zbiorów danych

Jednym z problemów związanych z analizowaniem danych wyszukiwania w celu określenia trendów chorobowych jest to, że nie uwzględnia ona osób, które nie są chore, ale obawiają się, że coś wpadną.

Przed każdym noworocznym sezonem grypowym model Google Flu Trends jest odświeżany za pomocą 45 najbardziej przydatnych zapytań związanych z grypą sprzed lat (te specjalne wyszukiwane hasła są wybierane przy użyciu regresji logistycznej, ale dokładne zapytania i ich waga) inne są ściśle tajne).

Ponadto szacunki GFT po sezonie są oceniane w porównaniu z tradycyjnymi raportami z nadzoru danych, z których korzysta CDC, aby zobaczyć, jak dobrze te dwa pasują do siebie. W oparciu o zdolność narzędzia do prognozowania do dokładnego oszacowania, kiedy rozpocznie się sezon grypowy w danym roku, kiedy sezon osiągnie szczyt i jak dotkliwy będzie, model może zostać zaktualizowany. Kiedy po raz pierwszy został uruchomiony w 2008 roku, GFT miał średnią korelację 97 procent z danymi CDC [źródło: Ginsberg ].

We wrześniu 2009 r. Model amerykańskiej wersji Google Flu Trends otrzymał pierwszą aktualizację obejmującą dane wyszukiwań z epidemii H1N1. Stało się tak, ponieważ model GFT całkowicie nie docenił pandemii świńskiej grypy H1N1 (która miała miejsce w okresie letnim). A potem nadal chybił celu.

W sezonie grypowym 2011/2012 firma GFT przeszacowała częstość występowania grypy o 50 procent. GFT przeszacował także sezon grypowy 2012/2013, przewidując aż dwukrotnie większą liczbę wizyt ambulatoryjnych związanych z ILI, niż faktycznie zgłosiło CDC. W szczycie sezonu grypowego 2013/2014 GFT oszacował, że aż 11 procent populacji USA ma grypę. Jeśli wydaje się, że to dużo, to dlatego, że tak jest - dla porównania CDC podało w tym sezonie 6 proc. Badacze podają, że w rzeczywistości dokładność narzędzia może być znacznie gorsza; Okazało się, że od sierpnia 2011 r. GFT przeszacował w 100 ze 108 tygodni [źródła: Hodson , Walsh , Lazer ].

Najczęstszym wytłumaczeniem przeszacowania częstości występowania grypy przez Google jest nic innego jak nasze własne szarpanie, gdy trwa sezon grypowy - wiesz, kiedy wyszukujesz słowo „kaszel”, próbując dowiedzieć się, czy zachorujesz na grypę, przeziębienie, a może poczekaj, czy to może być zapalenie płuc? Użycie w mediach wyrażeń takich jak „najgorszy sezon grypowy od lat” oraz doniesienia medialne o grypie sezonowej również przyczyniają się do naszych wyszukiwań związanych z kaszlem. Problem polega na tym, że GFT nie wie, czy jesteś chory, czy tylko martwisz się, że zachorujesz; Weź pod uwagę, że tylko około 10 procent wszystkich osób szukających pomocy medycznej z powodu grypy faktycznie ma grypę [źródło: Salzberg ]. Wyszukiwania Google nie mają kontekstu i nie znają Twojego zamiaru.

Ale to może nie być pełna odpowiedź.

Oprócz szumu medialnego związanego z ILI, który zwiększa liczbę wyszukiwań grypy, praca z dużymi zbiorami danych może prowadzić do tworzenia korelacji, które mogą być niedokładne. To pułapka na duże zbiory danych. Chociaż wyniki eksploracji danych mogą nakreślić związek między sezonowymi zapytaniami wyszukiwania a, powiedzmy, wizytami lekarskimi, sama masowość zbioru danych sugeruje, że nie można ufać dokładności korelacji.

Kolejne pytanie dotyczące przeszacowania GFT dotyczy aktualizacji algorytmu wyszukiwarki Google. Badacze sugerują, że wprowadzenie funkcji autosugestii w wyszukiwarce Google zmieniło zachowanie użytkowników pod kątem możliwości przeszacowania w GFT; Użytkownicy szukający jednego objawu grypy byli teraz zachęcani do szukania większej liczby (polecanych przez Google) haseł związanych z grypą, co wpłynęło na ogólną liczbę wyszukiwań związanych z ILI.

W 2012 roku wyszukiwarka zaczęła uwzględniać możliwe stany związane z badanymi objawami, co również potencjalnie przyczyniło się do problemu przeszacowania.

Jednak po ponownych słabych wynikach w sezonie grypowym 2012/2013 algorytm GFT został ponownie zaktualizowany. Teraz bagatelizuje wszelkie nieprawidłowości związane z mediami i sporządza swoje prognozy na podstawie metody statystycznej zwanej ElasticNet (która jest uogólnionym liniowym modelem regresji regularyzowanej). Ale wciąż było miejsce na ulepszenia; poprawiony algorytm wciąż przeszacowywany aż o 30 procent [źródło: Lohr ].

W 2014 roku inżynierowie GFT zaktualizowali narzędzie GFT, aby zawierało nie tylko odświeżone dane wyszukiwania, ale także tradycyjne kliniczne i wirusologiczne tzw. Małe dane z CDC na sezon grypowy 2014/2015. Inżynierowie i naukowcy zgadzają się, że połączenie tych informacji powinno prowadzić do dokładniejszych wyników.

Wiele Więcej informacji

Uwaga autora: Jak działa Google Flu Trends

Co za tydzień, żeby zanurzyć się w grypie; dzień, w którym pisałem o tym, jak CDC monitoruje i analizuje dane dotyczące grypy, był tego samego dnia, w którym przedstawiciele służby zdrowia CDC ogłosili, że tegoroczny sezon grypowy może być ciężki - ponieważ jeden z szczepów wirusa (i ten, który do tej pory dominuje w tym sezonie) w tym roku szczepionka uległa mutacji. Miej oko na Google Flu Trends.

Powiązane artykuły

  • Czy powinienem się zaszczepić?
  • Jak działa Google
  • Dlaczego algorytm Google jest tak ważny?
  • Jak rozprzestrzenia się grypa?
  • 14 domowych środków na grypę

Więcej świetnych linków

  • Google.org - Flu Trends (GFT)
  • CDC - Cotygodniowy raport z nadzoru nad grypą w USA
  • CDC - Grypa sezonowa: podstawy grypy

Źródła

  • Arce, Nicole. „Google Flu Trends źle zrozumiał: narzędzie do przewidywania grypy zostaje zaktualizowane”. Tech Times. 1 listopada 2014 r. (5 grudnia 2014 r.) Http://www.techtimes.com/articles/19247/20141101/google-flu-trends-got-it-wrong-flu-prediction-tool-gets-updated .htm
  • Arthur, Charles. „Naukowcy stwierdzili, że Google Flu Trends nie jest już dobry w przewidywaniu grypy”. Opiekun. 27 marca 2014 r. (5 grudnia 2014 r.) Http://www.theguardian.com/technology/2014/mar/27/google-flu-trends-predicting-flu
  • Butler, Declan. „Kiedy Google pomylił się na grypę”. Natura. 13 lutego 2013 r. (5 grudnia 2014 r.) Http://www.nature.com/news/when-google-got-flu-wrong-1.12413
  • Centra Kontroli i Zapobiegania Chorobom. „Zgony: ostateczne dane za 2011 r.” (5 grudnia 2014) http://www.cdc.gov/nchs/data/nvsr/nvsr63/nvsr63_03.pdf
  • Centra Kontroli i Zapobiegania Chorobom. „Grypa (grypa)”. 4 grudnia 2014. (5 grudnia 2014) http://www.cdc.gov/flu/
  • CNBC. „10 głównych przyczyn zgonów na świecie”. (5 grudnia 2014) http://www.cnbc.com/id/101388499/page/1
  • Copeland, Patrick. „Google Disease Trends: an Update”. Google.org. (5 grudnia 2014) http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/en/us/pubs/archive/41763.pdf
  • Fox, Susannah. „Społeczne życie informacji o zdrowiu”. Pew Research Center. 15 stycznia 2014. (5 grudnia 2014) http://www.pewresearch.org/fact-tank/2014/01/15/the-social-life-of-health-information/
  • Fung, Kaiser. „Awaria Google Flu Trends pokazuje dobre dane> Big Data”. Harvard Business Review. 25 marca 2014 r. (5 grudnia 2014 r.) Https://hbr.org/2014/03/google-flu-trends-failure-shows-good-data-big-data/
  • Ginsberg, Jeremy. „List: Wykrywanie epidemii grypy na podstawie danych wyszukiwanych przez wyszukiwarkę”. Natura. Vol. 457. Strony 1012-1014. 19 lutego 2009. (5 grudnia 2014) http://www.nature.com/nature/journal/v457/n7232/suppinfo/nature07634.html
  • Goldschmidt, Debra. „CDC: szczepionka przeciw grypie mniej skuteczna w tym roku, ponieważ obecny wirus zmutował”. CNN. 4 grudnia 2014. (5 grudnia 2014) http://www.cnn.com/2014/12/04/health/flu-vaccine-mutated-virus/
  • Google.org. „Flu Trends”. 2014. (5 grudnia 2014) http://www.google.org/flutrends/
  • Harvard Medical School - Harvard University. „10 mitów na temat grypy”. (5 grudnia 2014) http://www.health.harvard.edu/flu-resource-center/10-flu-myths.htm
  • Hodson, Hal. „Google Flu Trends źle rozumie przez trzy lata z rzędu”. NewScientist. 13 marca 2014 r. (5 grudnia 2014 r.) Http://www.newscientist.com/article/dn25217-google-flu-trends-gets-it-wrong-three-years-running.html
  • Lazer, David. „Google Flu Trends wciąż wygląda na chore: ocena sezonu grypowego 2013-2014”. Sieć badawcza nauk społecznych. 13 marca 2014 r. (5 grudnia 2014 r.) Http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2408560
  • Lazer, David. „The Parable of Google Flu: Traps in Big Data Analysis”. Nauka. Vol. 343, nr 6176, strony 1203-1205. 14 marca 2014 r. (5 grudnia 2014 r.) Http://www.sciencemag.org/content/343/6176/1203
  • Lohr, Steve. „Google Flu trendy: The Limits of Big Data”. The New York Times. 28 marca 2014 r. (5 grudnia 2014 r.) Http://bits.blogs.nytimes.com/2014/03/28/google-flu-trends-the-limits-of-big-data/
  • Oremus, Will. "Staje się popularne w sieci." Łupek. 9 stycznia 2013 r. (5 grudnia 2014 r.) Http://www.slate.com/articles/technology/technology/2013/01/flu_shot_time_google_flu_trends_predicts_worst_season_on_record.html
  • Salzberg Steven. „Dlaczego Google Flu to awaria”. Forbes. 23 marca 2014 r. (5 grudnia 2014 r.) Http://www.forbes.com/sites/stevensalzberg/2014/03/23/why-google-flu-is-a-failure/
  • Stefansen, Christian. „Google Flu Trends otrzymuje zupełnie nowy silnik”. Blog Google Research - Google. 31 października 2014 r. (5 grudnia 2014 r.) Http://googleresearch.blogspot.com/2014/10/google-flu-trends-gets-brand-new-engine.html
  • Stromberg, Józef. „Dlaczego Google Flu Trends nie może (jeszcze) śledzić grypy”. Smithonian Magazine. 13 marca 2014 r. (5 grudnia 2014 r.) Http://www.smithsonianmag.com/ist/?next=/science-nature/why-google-flu-trends-cant-track-flu-yet-180950076/
  • Walsh, Bryan. „Projekt Google dotyczący grypy pokazuje błędy dużych zbiorów danych”. Czas. 13 marca 2014 r. (5 grudnia 2014 r.) Http://time.com/23782/google-flu-trends-big-data-problems/