Tout d'abord, il y a une distinction très importante entre être capable de détecter un acteur "Snowden-like" et pouvoir prévenir un acteur. Pour autant que j'ai vu, Beehive ne prétend pas en empêcher un, mais semble plutôt promettre la possibilité de vous avertir qu'une activité suspecte se produit dans votre réseau. Bien sûr, pas aussi bon, mais toujours considéré comme un «Saint Graal» dans certaines communautés de recherche.
Cela dit, je doute extrêmement que Beehive soit capable de répondre à ces attentes. L'apprentissage automatique peut très bien extraire des modèles complexes à partir de grandes piles de données avec des identités fiables. Par exemple, différencier les images de chats et de chiens est extrêmement fiable; nous pouvons tous le faire 99 +% du temps, mais si je devais dire quel est l'algorithme exact pour prendre 100x100 pixels et déterminer le chat contre le chien, je ne sais pas comment je le ferais. Mais je peux vous fournir 100 000 de ces images et laisser les méthodes ML déterminer une règle qui différencie de manière fiable les deux en fonction des valeurs de 100x100 pixels. Si je fais les choses correctement, les règles créées par ML devraient même fonctionner sur de nouvelles images de chats et de chiens, en supposant qu'aucun changement important dans les nouvelles données (c'est-à-dire, si je n'utilise que des laboratoires et des chats tabby dans les données d'entraînement, alors essayez d'obtenir pour identifier un terrier ... bonne chance). C'est la force de ML.
La détermination des «comportements suspects» est une question beaucoup plus difficile. Nous n'avons pas 100 000 échantillons de mauvais comportements confirmés, et nous n'avons même pas vraiment 100 000 échantillons de bons comportements confirmés! Pire encore, ce qui était une bonne méthode de ML qui fonctionnait hier ne fonctionne pas aujourd'hui; contrairement aux chats et aux chiens sur les photos, les adversaires essaient vraiment de vous tromper. La plupart des personnes que je connais travaillant sur le ML pour la cybersécurité ont accepté que l'idée d'une détection purement automatisée dépasse notre portée pour le moment, mais peut-être pouvons-nous créer des outils pour automatiser des tâches répétitives très spécifiques qu'un analyste de la sécurité doit faire encore et encore, les rendant ainsi plus efficaces.
Cela dit, les auteurs de Beehive semblent avoir sauté cette leçon et prétendent avoir résolu ce problème. Je me méfie beaucoup des performances, d'autant plus que les méthodes qu'ils suggèrent sont les premières qu'un chercheur en ML pourrait penser d'essayer et ont été systématiquement rejetées comme inutiles. Par exemple, ils suggèrent d'utiliser la PCA pour identifier les valeurs aberrantes dans les journaux. Cela, et des variantes de celui-ci, a été essayé des centaines de fois et le résultat est toujours que l'analyste de la sécurité arrête la "détection automatique" car ils obtiennent tellement de faux positifs que cela coûte beaucoup plus de temps ça sauve.
Bien sûr, dans toutes ces méthodes, le diable est que les détails et les détails de ces types de méthodes ne sont jamais vraiment exposés dans les travaux publiés ("nous avons utilisé PCA pour rechercher des valeurs aberrantes dans les journaux du serveur" est un déclaration extrêmement vague). Il est toujours possible qu'ils aient un moyen très intelligent de prétraiter les données avant d'appliquer leurs méthodes qui n'ont pas été publiées. Mais je serais prêt à parier mon bras droit qu'aucun utilisateur de Beehive ne sera en mesure de faire la différence de manière fiable entre un comportement «de type Snowden» et une utilisation non conflictuelle d'un réseau dans le monde réel en temps réel.