Factors influencing performance of Internet-based biosurveillance systems used in epidemic intelligence for early detection of infectious diseases outbreaks

Publié le 7 mars 2014
Mis à jour le 11 juin 2019

Background: internet-based biosurveillance systems have been developed to detect health threats using information available on the Internet, but system performance has not been assessed relative to end-user needs and perspectives. Method and Findings: infectious disease events from the French Institute for Public Health Surveillance (InVS) weekly international epidemiological bulletin published in 2010 were used to construct the gold-standard official dataset. Data from six biosurveillance systems were used to detect raw signals (infectious disease events from informal Internet sources): Argus, BioCaster, GPHIN, HealthMap, MedISys and ProMED-mail. Crude detection rates (C-DR), crude sensitivity rates (C-Se)and intrinsic sensitivity rates (I-Se) were calculated from multivariable regressions to evaluate the systems" performance (events detected compared to the gold-standard) 472 raw signals (Internet disease reports) related to the 86 events included in the gold-standard data set were retrieved from the six systems. 84 events were detected before their publication in the gold-standard. The type of sources utilised by the systems varied significantly (p,0001). I-Se varied significantly from 43% to 71% (p = 0001) whereas other indicators were similar (C-DR: p = 020; C-Se, p = 013). I-Se was significantly associated with individual systems, types of system, languages, regions of occurrence, and types of infectious disease. Conversely, no statistical difference of C-DR was observed after adjustment for other variables. Conclusion: although differences could result from a biosurveillance system's conceptual design, findings suggest that the combined expertise amongst systems enhances early detection performance for detection of infectious diseases. While all systems showed similar early detection performance, systems including human moderation were found to have a 53% higher I-Se (p = 00001) after adjustment for other variables. Overall, the use of moderation, sources, languages, regions of occurrence, and types of cases were found to influence system performance.(R.A.) Traduction du résumé : Les systèmes de biosurveillance basés sur Internet ont été développés dans le but de détecter les menaces sanitaires en utilisant les informations disponibles sur Internet mais les performances de ces systèmes n'ont pas été évaluées en prenant en considération les besoins et la perspective des utilisateurs finaux. Les événements dus à des maladies infectieuses publiés en 2010 dans le bulletin épidémiologique hebdomadaire international de l'Institut de veille sanitaire (France) ont été utilisés pour construire le gold-standard. Les données issues de six systèmes de biosurveillance ont été utilisées pour détecter des signaux bruts (événements liés aux maladies infectieuses à partir de sources Internet informelles) : Argus, BioCaster, GPHIN, HealthMap, Medisys et ProMED. Le taux de détections bruts (TD-B), les taux bruts de sensibilité (TS-B) et les taux de sensibilité intrinsèque (TS-I) ont été calculée à partir des régressions multivariées afin d'évaluer la performance des systèmes (évènements détectés par rapport au gold standard). 472 signaux bruts (rapports sur les maladies mis en ligne) liés aux 86 événements inclus dans le référentiel ont été extraits des six systèmes. 84 événements ont été détectés avant leur publication dans la série IDEALE de données. Le type de sources utilisées par les systèmes variait de façon significative (p 0.0001). Le TS-I variait de manière significative de 43 % à 71 % (p = 0.001), tandis que les autres indicateurs étaient identiques (TD-B : p = 0.20, TS-B : p = 0.13). Le TS-I était significativement associé aux systèmes individuels, au type de système, aux langues, aux régions de survenue de l'événement et aux types de maladies infectieuses. En revanche,, aucune différence statistique n'a été observée après ajustement du TD-B pour les autres variables. Bien que les différences puissent résulter de la conception d'un système de biosurveillance, les résultats suggèrent que l'expertise combinée des systèmes améliore les performances de détection précoce des maladies infectieuses. Alors que tous les systèmes ont montré des performances similaires de détection précoce, les systèmes comprenant une modération avaient un TS-I supérieur à 53% (p = 0.0001) après ajustement sur les autres variables. Dans l'ensemble, l'utilisation de la modération, des sources, des langues, des régions de survenue et des types de cas avaient tous un impact sur la performance des systèmes. (Traduction effectuée par la Cellule de Valorisation Editoriale - CeVE - de l'InVS)

Auteur : Barboza P, Vaillant L, Le Strat Y, Hartley DM, Nelson NP, Mawudeku A, Madoff LC, Linge JP, Collier N, Brownstein JS, Astagneau P
PloS one, 2014, vol. 9, n°. 3, p. e90536