Towards a more sustainable anomaly detectionnew methods and practical applications

Resumo

A detección de anomalías é un problema crítico en moitos campos, con aplicación que van desde a detección de intrusións ata o diagnóstico de fallos e o mantemento predictivo. Os métodos non supervisados gañaron unha gran popularidade debido á súa capacidade para aprender de datos sen requirir exemplos etiquetados. Esta tese doutoral presenta unha visión xeral completa dos métodos de detección de anomalías, cun enfoque específico en técnicas non supervisadas e as suás aplicacións en varios dominios. A tese tamén enfatiza a sustentabilidade ao presentar métodos que están deseñados para ser escalables, eficientes e capaces de manexar grandes e complexos conxuntos de datos. Os mecanismos de afinaci´on automática dos hiperparámetros, combinados coas propiedades distribuídas de algúns dos métodos, permiten un procesamento eficiente e minimizan a necesidade de afinación manual, que pode ser consumidora de tempo e recursos. Isto resulta nun enfoque máis sustentable e eficiente para a detección de anomalías, reducindo o risco de sobrecarga de sistemas e minimizando a pegada de carbono do procesamento implicado. Estes enfoques aplícanse a varios conxuntos de datos e dominios, incluíndo un conxunto de datos de detección de intrusións de IoT, un fluxo de datos de sistema ferroviario e as preferencias turísticas baseadas no conxunto de datos de reseñas de TripAdvisor. O rendemento dos métodos avalíase utilizando unha variedade de métricas, como a precisión de clasificación, precisión, recall, curva ROC, tempo de procesamento e tests estatísticos como o test post hoc Nemmenyi, amosando resultados de vangarda. A investigación presentada nesta tese fai unha contribución significativa á detección de anomalías ao introducir novos métodos máis eficientes para lidiar con conxuntos de datos grandes e complexos. Ademais, os métodos son escalables e sostibles, o que son factores importantes para a súa implementación en aplicacións do mundo real. En xeral, o traballo nesta tese proporciona unha visión detallada e actualizada dos métodos de detección de anomalías, co enfoque nas técnicas non supervisadas e as súas aplicacións prácticas, especialmente coas novas tendenciascara unha intelixencia artificial máis verde.