Towards a more sustainable anomaly detectionnew methods and practical applications

Resumen

La detección de anomalías es un problema crítico en muchos campos, con aplicaciones que van desde la detección de intrusiones hasta el diagnóstico de fallos y el mantenimiento predictivo. Los métodos no supervisados han ganado una gran popularidad debido a su capacidad para aprender de los datos sin requerir ejemplos etiquetados. Esta tesis doctoral presenta una visión general completa de los métodos de detección de anomalías, con un enfoque particular en las técnicas no supervisadas y sus aplicaciones en una amplia variedad de dominios. Además, la tesis hace énfasis en la sostenibilidad al presentar métodos que están diseñados para ser escalables, eficientes y capaces de manejar grandes y complejos conjuntos de datos. Los mecanismos de ajuste automático de hiperparámetros, combinados con las propiedades distribuidas de algunos de los métodos, permiten un procesamiento eficiente y minimizan la necesidad de ajuste manual, que puede ser tardado y requerir recursos intensivos. Esto resulta en un enfoque más sostenible y eficiente para la detección de anomalías, reduciendo el riesgo de sobrecarga de los sistemas y minimizando la huella de carbono del procesamiento involucrado. Estos enfoques se aplican a varios conjuntos de datos y dominios, incluyendo un conjunto de datos de detección de intrusiones de IoT, un flujo de datos de sistema ferroviario y las preferencias turísticas basadas en el conjunto de datos de reseñas de TripAdvisor. El rendimiento de los métodos se evalúa utilizando una variedad de métricas, como la precisión de clasificación, la precisión, el recall, la curva ROC, el tiempo de procesamiento y los tests estadísticos como el test post hoc Nemmenyi, mostrando resultados de vanguardia. La investigación presentada en esta tesis hace una contribución significativa al campo de la detección de anomalías al introducir nuevos métodos más eficientes para tratar con conjuntos de datos grandes y complejos. Además, los métodos son escalables y sostenibles, lo cual son factores importantes para su implementación en aplicaciones del mundo real. En general, el trabajo en esta tesis proporciona una visión detallada y actualizada de los métodos de detección de anomalías, con un enfoque en técnicas no supervisadas y sus aplicaciones prácticas, especialmente con las nuevas tendencias hacia una inteligencia artificial más verde.