TL; DR\u00a0: Aussi \u00e9trange que cela puisse para\u00eetre, voir quelques faux positifs signal\u00e9s par un scanner de s\u00e9curit\u00e9 est probablement un bon signe et certainement mieux que de n’en voir aucun. Expliquons pourquoi.<\/p>\n
Introduction<\/h2>\n
Les faux positifs ont fait une apparition quelque peu inattendue dans nos vies ces derni\u00e8res ann\u00e9es. Je fais bien s\u00fbr r\u00e9f\u00e9rence \u00e0 la pand\u00e9mie de COVID-19, qui a n\u00e9cessit\u00e9 des campagnes massives de tests afin de contr\u00f4ler la propagation du virus. Pour m\u00e9moire, un faux positif est un r\u00e9sultat qui appara\u00eet positif (pour le COVID-19 dans notre cas), alors qu’il est en r\u00e9alit\u00e9 n\u00e9gatif (la personne n’est pas infect\u00e9e). Plus commun\u00e9ment, on parle de fausses alertes.<\/p>\n
En s\u00e9curit\u00e9 informatique, nous sommes \u00e9galement souvent confront\u00e9s \u00e0 des faux positifs. Demandez \u00e0 l’\u00e9quipe de s\u00e9curit\u00e9 derri\u00e8re n’importe quel SIEM quel est son plus grand d\u00e9fi op\u00e9rationnel, et il y a de fortes chances que des faux positifs soient mentionn\u00e9s. Une r\u00e9cente rapport<\/a> estime que jusqu’\u00e0 20 % de toutes les alertes re\u00e7ues par les professionnels de la s\u00e9curit\u00e9 sont des faux positifs, ce qui en fait une grande source de fatigue.<\/p>\n Pourtant, l’histoire derri\u00e8re les faux positifs n’est pas aussi simple qu’il y para\u00eet au premier abord. Dans cet article, nous pr\u00e9coniserons que lors de l’\u00e9valuation d’un outil d’analyse, voir un taux mod\u00e9r\u00e9 de faux positifs est plut\u00f4t un bon signe d’efficacit\u00e9. <\/p>\n Avec analyse statique<\/a> en s\u00e9curit\u00e9 applicative, notre pr\u00e9occupation premi\u00e8re est de capter tous les vrai<\/em> vuln\u00e9rabilit\u00e9s en analysant le code source.<\/p>\n Voici une visualisation pour mieux saisir la distinction entre deux concepts fondamentaux de l’analyse statique : la pr\u00e9cision et le rappel. La loupe repr\u00e9sente l’\u00e9chantillon qui a \u00e9t\u00e9 identifi\u00e9 ou s\u00e9lectionn\u00e9 par l’outil de d\u00e9tection. Vous pouvez en savoir plus sur la fa\u00e7on d’\u00e9valuer la performance d’un processus statistique ici<\/a>.<\/p>\n Voyons ce que cela signifie d’un point de vue technique\u00a0: <\/p>\n Autrement dit, l’objectif d’un scanner de vuln\u00e9rabilit\u00e9 est d’ajuster le cercle (dans la loupe) aussi pr\u00e8s que possible du rectangle de gauche (\u00e9l\u00e9ments pertinents).<\/p>\n Le probl\u00e8me est que la r\u00e9ponse est rarement claire, ce qui signifie que des compromis doivent \u00eatre faits. <\/p>\n Alors, qu’est-ce qui est le plus souhaitable\u00a0: maximiser la pr\u00e9cision ou le rappel\u00a0? <\/p>\n Pour comprendre pourquoi, prenons les deux extr\u00eames : imaginons qu’un outil de d\u00e9tection n’alerte ses utilisateurs que lorsque la probabilit\u00e9 qu’un morceau de code donn\u00e9 contienne une vuln\u00e9rabilit\u00e9 est sup\u00e9rieure \u00e0 99,999 %. Avec un seuil aussi \u00e9lev\u00e9, vous pouvez \u00eatre presque certain qu’une alerte est bien un vrai positif. Mais combien de probl\u00e8mes de s\u00e9curit\u00e9 vont passer inaper\u00e7us \u00e0 cause de la s\u00e9lectivit\u00e9 du scanner\u00a0? Beaucoup. <\/p>\n Maintenant, au contraire, que se passerait-il si l’outil \u00e9tait r\u00e9gl\u00e9 pour ne jamais manquer une vuln\u00e9rabilit\u00e9 (maximiser le rappel)\u00a0? Vous l’aviez devin\u00e9 : vous seriez bient\u00f4t confront\u00e9 \u00e0 des centaines voire des milliers de fausses alertes. Et l\u00e0 r\u00e9side un plus grand danger. <\/p>\n Comme \u00c9sope nous l’avait pr\u00e9venu dans sa fable Le gar\u00e7on qui criait au loup<\/em><\/a>, quiconque ne fait que r\u00e9p\u00e9ter de fausses affirmations finira par ne pas \u00eatre \u00e9cout\u00e9. Dans notre monde moderne, l’incr\u00e9dulit\u00e9 se mat\u00e9rialiserait par un simple clic pour d\u00e9sactiver les notifications de s\u00e9curit\u00e9 et r\u00e9tablir la tranquillit\u00e9, ou simplement les ignorer si la d\u00e9sactivation n’est pas autoris\u00e9e. Mais les cons\u00e9quences pourraient \u00eatre au moins aussi dramatiques que dans la fable. <\/p>\n Il est juste de dire que la fatigue d’alerte est probablement la principale raison pour laquelle l’analyse statique \u00e9choue si souvent. Non seulement les fausses alarmes sont \u00e0 l’origine de l’\u00e9chec de programmes de s\u00e9curit\u00e9 applicatifs entiers, mais elles causent \u00e9galement des dommages beaucoup plus graves, tels que l’\u00e9puisement et la participation.<\/p>\n Et pourtant, malgr\u00e9 tous les maux qui leur sont imput\u00e9s, vous auriez tort de penser que si un outil ne porte pas de faux positifs, alors il doit apporter la r\u00e9ponse d\u00e9finitive \u00e0 ce probl\u00e8me.<\/p>\n Pour accepter les faux positifs, nous devons aller \u00e0 l’encontre de cet instinct de base qui nous pousse souvent vers des conclusions pr\u00e9coces. Une autre exp\u00e9rience de pens\u00e9e peut nous aider \u00e0 illustrer cela. <\/p>\n Imaginez que vous soyez charg\u00e9 de comparer les performances de deux scanners de s\u00e9curit\u00e9 A et B. <\/p>\n Apr\u00e8s avoir ex\u00e9cut\u00e9 les deux outils sur votre benchmark, les r\u00e9sultats sont les suivants\u00a0: Le scanner A n’a d\u00e9tect\u00e9 que des vuln\u00e9rabilit\u00e9s valides, tandis que le scanner B a signal\u00e9 \u00e0 la fois des vuln\u00e9rabilit\u00e9s valides et non valides.<\/strong> \u00c0 ce stade, qui ne serait pas tent\u00e9 de tirer une premi\u00e8re conclusion ? Il faudrait \u00eatre un observateur assez avis\u00e9 pour demander plus de donn\u00e9es avant de se d\u00e9cider. Les donn\u00e9es r\u00e9v\u00e9leraient tr\u00e8s probablement que certains secrets valides rapport\u00e9s par B avaient \u00e9t\u00e9 silencieusement ignor\u00e9s par A.<\/strong><\/p>\n Vous pouvez maintenant voir l’id\u00e9e de base derri\u00e8re cet article\u00a0: tout outil, processus ou entreprise pr\u00e9tendant \u00eatre compl\u00e8tement libre<\/em> de faux positifs devrait sembler suspect. Si tel \u00e9tait vraiment le cas, il y aurait de fortes chances que certains \u00e9l\u00e9ments pertinents soient ignor\u00e9s en silence. <\/p>\n Trouver l’\u00e9quilibre entre pr\u00e9cision et rappel est une question subtile et n\u00e9cessite beaucoup d’efforts de r\u00e9glage (vous pouvez lire comment les ing\u00e9nieurs de GitGuardian am\u00e9liorent le pr\u00e9cision du mod\u00e8le<\/a>). Non seulement cela, mais il est \u00e9galement tout \u00e0 fait normal de le voir \u00e9chouer de temps en temps. C’est pourquoi vous devriez vous inqui\u00e9ter davantage de l’absence de faux positifs que d’en voir quelques-uns.<\/p>\n Mais il y a aussi une autre raison pour laquelle les faux positifs pourraient aussi \u00eatre un signal int\u00e9ressant : la s\u00e9curit\u00e9 n’est jamais \u00ab tout blanc ou tout noir \u00bb. Il y a toujours une marge o\u00f9 “nous ne savons pas”, et<\/p>\n o\u00f9 l’examen et le triage humains deviennent essentiels.<\/p>\n “En raison de la nature du logiciel que nous \u00e9crivons, nous obtenons parfois des faux positifs. Lorsque cela se produit, nos d\u00e9veloppeurs peuvent remplir un formulaire et dire\u00a0: “H\u00e9, c’est un faux positif. Cela fait partie d’un cas de test. Vous pouvez ignorer cela.” <\/em>\u2014 <\/i>La source<\/a>.<\/p>\n Il y a une v\u00e9rit\u00e9 plus profonde : la s\u00e9curit\u00e9 n’est jamais \u00ab tout blanc ou tout noir \u00bb. Il y a toujours une marge o\u00f9 “nous ne savons pas”, et o\u00f9 l’examen et le triage humains deviennent essentiels. En d’autres termes, il ne s’agit pas seulement de chiffres bruts, mais aussi de comment<\/em> ils seront utilis\u00e9s. Les faux positifs sont utiles de ce point de vue : ils permettent d’am\u00e9liorer les outils et d’affiner les algorithmes afin que le contexte soit mieux compris et pris en compte. Mais comme une asymptote, le 0 absolu ne peut jamais \u00eatre atteint.<\/p>\n Il y a cependant une condition n\u00e9cessaire pour transformer ce qui semble \u00eatre une mal\u00e9diction en un cercle vertueux. Vous devez vous assurer que les faux positifs peuvent \u00eatre signal\u00e9s et int\u00e9gr\u00e9s dans l’algorithme de d\u00e9tection aussi facilement que possible pour les utilisateurs finaux. L’un des moyens les plus courants d’y parvenir consiste simplement \u00e0 offrir la possibilit\u00e9 d’exclure des fichiers, des r\u00e9pertoires ou des r\u00e9f\u00e9rentiels du p\u00e9rim\u00e8tre analys\u00e9. <\/p>\n Chez GitGuardian, nous sommes sp\u00e9cialis\u00e9s dans d\u00e9tection secr\u00e8te<\/a>. Nous avons pouss\u00e9 l’id\u00e9e d’am\u00e9liorer toute d\u00e9couverte avec autant de contexte que possible, conduisant \u00e0 des cycles de r\u00e9troaction beaucoup plus rapides et all\u00e9geant autant de travail que possible.<\/p>\n Si un d\u00e9veloppeur essaie de commettre un secret avec le c\u00f4t\u00e9 client ggshield<\/a> install\u00e9 en tant que hook de pr\u00e9-commit, le commit sera arr\u00eat\u00e9 \u00e0 moins que le d\u00e9veloppeur le signale comme un secret \u00e0 ignorer<\/a>. A partir de l\u00e0, le secret est consid\u00e9r\u00e9 comme un faux positif, et ne d\u00e9clenchera plus d’alerte, mais uniquement sur son poste de travail local. Seul un membre de l’\u00e9quipe de s\u00e9curit\u00e9 ayant acc\u00e8s au tableau de bord GitGuardian est en mesure de signaler un faux positif pour toute l’\u00e9quipe (ignorance globale).<\/p>\n Si un secret divulgu\u00e9 est signal\u00e9, nous fournissons des outils pour aider l’\u00e9quipe de s\u00e9curit\u00e9 \u00e0 les exp\u00e9dier rapidement. Par exemple, le livre de jeu d’auto-gu\u00e9rison<\/a> envoie automatiquement un e-mail au d\u00e9veloppeur qui a commis le secret. Selon la configuration du playbook, les d\u00e9veloppeurs peuvent \u00eatre autoris\u00e9s \u00e0 r\u00e9soudre ou \u00e0 ignorer l’incident eux-m\u00eames, ce qui all\u00e8ge la charge de travail laiss\u00e9e \u00e0 l’\u00e9quipe de s\u00e9curit\u00e9.<\/p>\n Ce ne sont l\u00e0 que quelques exemples de la fa\u00e7on dont nous avons appris \u00e0 adapter les processus de d\u00e9tection et de rem\u00e9diation aux faux positifs, plut\u00f4t que de nous focaliser sur leur \u00e9limination. En statistiques, cette obsession a m\u00eame un nom : cela s’appelle le surajustement, et cela signifie que votre mod\u00e8le est trop d\u00e9pendant d’un ensemble de donn\u00e9es particulier. Faute d’intrants r\u00e9els, le mod\u00e8le ne serait pas utile dans un environnement de production.<\/p>\n Les faux positifs provoquent une fatigue d’alerte et font d\u00e9railler les programmes de s\u00e9curit\u00e9 si souvent qu’ils sont d\u00e9sormais largement consid\u00e9r\u00e9s comme un pur mal. Il est vrai que lorsque vous envisagez un outil de d\u00e9tection, vous voulez la meilleure pr\u00e9cision possible, et avoir trop de faux positifs cause plus de probl\u00e8mes que de ne pas utiliser d’outil en premier lieu. Cela \u00e9tant dit, ne n\u00e9gligez jamais le taux de rappel. <\/p>\nDe quoi parle-t-on exactement ?<\/h2>\n
![\"Faux](\"https:\/\/teknomers.com\/fr\/wp-content\/uploads\/2022\/08\/1660077046_895_La-verite-sur-les-faux-positifs-en-matiere-de-securite.jpg\" "\\"Faux")
<\/div>\n![\"Faux](\"https:\/\/teknomers.com\/fr\/wp-content\/uploads\/2022\/08\/1660077046_86_La-verite-sur-les-faux-positifs-en-matiere-de-securite.jpg\" "\\"Faux")
<\/div>\n\n
Lequel est le pire, trop de faux positifs ou trop de faux n\u00e9gatifs\u00a0?<\/h2>\n
![\"Faux](\"https:\/\/teknomers.com\/fr\/wp-content\/uploads\/2022\/08\/1660077047_799_La-verite-sur-les-faux-positifs-en-matiere-de-securite.jpg\" "\\"Faux")
<\/div>\nComment apprendre \u00e0 accepter les faux positifs<\/h2>\n
Conclusion<\/h2>\n