En un esfuerzo por mejorar la eficiencia en los centros de operaciones de seguridad (SOC), SophosAI ha llevado a cabo un estudio innovador para evaluar el uso de modelos de lenguaje grande (LLM) en colaboración con Amazon Bedrock y Amazon SageMaker. Este estudio se ha centrado en explorar tres tareas clave: la conversión de lenguaje natural a consultas SQL, la clasificación de la severidad de incidentes de seguridad y el resumen de dichos incidentes.
El estudio analizó la eficacia de Claude 3 Sonnet, un modelo LLM desarrollado por Anthropic, en la conversión de comandos en lenguaje natural a SQL. Los resultados fueron prometedores, con una precisión del 88%, lo que sugiere que los LLM pueden ser herramientas valiosas para los analistas de seguridad en la extracción de datos necesarios para la investigación de amenazas.
Sin embargo, la segunda tarea presentó desafíos más significativos. Aunque los LLM demostraron habilidad para identificar patrones sospechosos, su capacidad para clasificar la severidad de los eventos de seguridad sin un entrenamiento específico en datos ligados a la ciberseguridad dejó espacio para mejoras, alcanzando una precisión de apenas el 71%.
En cuanto a la tarea de resumir incidentes, Claude mostró un rendimiento adecuado, aunque los investigadores notaron que el modelo tiende a omitir detalles importantes. Por ello, recomiendan realizar ajustes en los modelos LLM para mejorar los resultados. La investigación sugiere que un modelo especializado y entrenado con datos específicos de ciberseguridad podría proporcionar evaluaciones más precisas.
Una de las ventajas del estudio fue la utilización de Amazon Bedrock para evaluar múltiples LLMs, lo que permitió a SophosAI realizar experimentaciones de manera eficiente y económica, sin la necesidad de implementar los modelos localmente. Además, Amazon SageMaker ofreció a los investigadores la capacidad de desplegar modelos personalizados, optimizando los costos mediante puntos finales asincrónicos.
Este estudio no solo destaca el potencial de los LLM para optimizar el análisis de amenazas en el campo de la ciberseguridad, sino que también subraya la necesidad de implementar cuidadosamente estos modelos, incluyendo entrenamiento especializado, para maximizar su efectividad. SophosAI planea seguir refinando estas tecnologías para que cumplan con las exigencias del sector de la ciberseguridad, asegurando que sean aplicadas de forma segura y eficiente en el entorno laboral.
