TousAntiCovid depuis le 18/12 : Acte 2

Suite de cet article. J’y relevais une forte discontinuité dans la saisie des qrcodes (ie, le taux de déclaration dans l’application des cas positifs) avec un triplement depuis le 18/12. Suite à cela, le compte twitter TousAntiCovid a répondu que depuis le 16/12, les cas positifs recevaient un SMS pour les inciter à se déclarer, ce qui explique probablement ce changement de comportement.

La question qui, du coup, se pose ensuite, est de savoir si ces déclarations sont :

• pertinentes, ie, faites par des utilisateurs de TousAntiCovid qui sinon oubliaient de se déclarer ;
• inutiles, ie, faites par des utilisateurs qui installent TousAntiCovid à ce moment et se déclarent donc sans historique de contacts (ce qui ne générera aucune notification).

Dit autrement, est-ce que ce SMS, en triplant les saisies de QR-codes, triple le rôle de TousAntiCovid, ou est-ce que cela permet juste d’enjoliver le nombre de déclarations sans effet tangible ?

Pour essayer d’y voir plus clair, nous allons mettre en perspective les qrcodes déclarés et les notifications émises.

Les graphiques du jour

Le premier est le nombre de notifications émises par qrcode saisi, lissé sur les 7 jours précédents :

Le deuxième est le nombre de notifications émises par jour, lissé sur 7 jours également :

Enfin, le nombre de cas et de saisies de qrcodes pour référence, sur 7 jours également :

Bref historique depuis fin novembre

Fin novembre (28/11), la règle de report des contacts a évolué. Précédemment, l’application remontait les contacts détectés de plus de 15 minutes à moins d’1 mètre. À partir du 28/11, TousAntiCovid vise à remonter les contacts de plus de 5 minutes à moins d’1 mètre et de plus de 15 minutes à moins de 2 mètres. Le nombre de notifications, ainsi, augmente évidemment à partir de cette date.

On voit ainsi une croissance du 28/11 jusque mi-décembre. Pourquoi ce délai ? À partir du 28/11, les applications ont élargi leurs critères de détection, mais les contacts qui n’avaient pas été enregistrés les jours précédents restent bien évidemment absents. On voit ainsi que, le temps de mettre à jour l’application et de “profiter” de ces détections plus larges, il a fallu 15 jours pour atteindre un sommet de notifications par qrcode saisi, bien visible sur la première figure autour du 15/12.

La fonction qui décide qui notifier à partir des contacts remontés n’est pas publique (et c’est un problème). Ses entrées sont les contacts détectés sur jusqu’aux 14 derniers jours, mais le détail des contacts réellement utilisés, dans quel cas, avec quel coefficient d’atténuation n’est pas connu (le décret stipule que l’application remonte jusqu’à 48h avant la date déclarée de l’apparition des symptômes et 2 semaines si asymptomatique). Ainsi, est-ce que seuls les contacts des 2 derniers jours sont notifiés ? Est-ce que des contacts jusqu’aux 14 derniers jours peuvent être notifiés ? Il semble, à la lecture de ces graphiques montrant une latence de 2 semaines (mais avec un lissage sur 7 jours, ajouté au délai de mise à jours des applications), qu’il y ait bien jusqu’à 1 à 2 semaines de contacts utilisés plutôt que 2 jours. L’analyse plus fine sur les données quotidiennes m’amène à penser que le temps de stabilisation est plutôt dans les 2 semaines, la deuxième étant pondérée, mais l’échantillon est bref. Monsieur TousAntiCovid, si vous venez lire, je suis preneur de tout complément sur le sujet !

Tout ceci explique donc la croissance jusque mi-décembre.

L’effet du 18/12

Depuis le 18/12, comme expliqué par le compte TousAntiCovid sur Twitter, les cas positifs reçoivent un SMS les incitant à se déclarer dans l’application. Certains ont l’appli et y repensent par ce rappel, d’autres probablement installent l’application et se déclarent (ce qui est inutile), on manque de détails sur l’usage de l’application pour le savoir clairement (enfin, nous, on manque d’infos ; les opérateurs du serveur TousAntiCovid ont les moyens de le savoir très clairement, évidemment).

Donc le 18/12, triplement des déclarations dans l’application. Ces déclarations sont-elles utiles ? D’après le second graphe, clairement, le nombre total de notifications émises quotidiennement passe de 600 à 1400, tenu jusqu’à Noël, avec une dynamique proche de la saisie des qrcodes. Cela ressemble à de vrais utilisateurs “utiles”, avec un quasi-triplement des notifications simultané au triplement des qrcodes. Ce qui est positif.

Cependant le nombre de notifications décroît ensuite de nouveau, pour se stabiliser autour de 800. La reprise de la rentrée confirme cette tendance à 800/jour (avec un nombre de cas relativement stable). On voit donc une zone, avant le 18/12, avec 600 notifications/jour pour environ 13 000 cas quotidiens, puis une zone depuis la rentrée avec 800 notifications/jour pour environ 18 000 cas quotidiens : la hausse des notifications est moins rapide que la hausse des cas, l’appli est donc plutôt moins utilisée.

Si on reprend le premier graphe, on voit ainsi qu’actuellement, 1 déclaration génère 0,6 notifications (avec les nouvelles règles de distance, 5min/1m + 15min/2m) alors qu’au 20/11, 1 déclaration générait 0,5 notifications (avec les anciennes règles de distance plus restrictives 15min/1m). Hors, juste avant l’introduction du SMS le 18/12, 1 déclaration générait 1,7 notifications, on voit bien que les nouvelles règles génèrent a priori plus de 3 fois plus de notifications. Et que le volume actuel est, donc, largement en-dessous de ce qu’il devrait être avec un triplement des déclarations. Étonnant…

Conclusion

En conclusion, il est difficile d’évaluer la pertinence de ces SMS. Au 18/12, ils semblaient avoir un effet bénéfique mais aujourd’hui, leur effet semble avoir complètement disparu.

Il serait intéressant, pour analyser plus finement, de connaître le nombre d’utilisateurs actifs/d’installations non désinstallées ainsi que la fonction d’évaluation côté serveur (ce qu’elle calcule, et à quel moment elle a été modifiée). Ces informations sont tenues secrètes mais je ne vois, aujourd’hui, aucune justification légitime à ne pas les diffuser.

Complément de conclusion : Au-delà de toute étude chiffrée, comme je l’ai déjà dit à plusieurs reprises, je continue à penser que TousAntiCovid marchote probablement. Probablement pas de manière aussi bonne qu’espéré (sinon, on aurait en France ou dans un autre pays du monde des études déjà conclusives sur l’efficacité), mais à la marge, ce qui sera présenté comme un succès plutôt qu’un échec par rapport aux objectifs initialement vendus. Malgré ce marchotage, je pense que le risque en terme de privacy/surveillance est beaucoup plus important que cet intérêt potentiel toujours non prouvé. Mais surtout, le déploiement avant de savoir si cela marche et l’opacité sur les chiffres et les calculs côté serveur (beaucoup d’éléments ne sont pas communiqués) me posent un gros problème sur la méthode, d’où mes tentatives de comprendre pour améliorer la transparence.