Exploración y evaluación de técnicas de reducción de características en Quantum Machine Learning

Exploraci´ on y Evaluaci´ on de T´ ecnicas de Reducci´ on de Caracter´ ısticas en Quantum Machine Learning Nuria Reyes-Dorta Universidad de La Laguna Tenerife, Spain [email protected] Pino Caballero-Gil Universidad de La Laguna Tenerife, Spain [email protected] Carlos Rosa-Remedios Universidad de La Laguna Tenerife, Spain [email protected] Resumen—En este trabajo se profundiza en la aplicaci´ on pr´ actica de diferentes t´ ecnicas de reducci´ on de caracter´ ısticas sobre datasets de gran tama˜ no y su impacto en los resultados a la hora de aplicar modelos de Quantum Machine Learning. Para dicho an´ alisis se ha empleado un conjunto de datos que refleja el problema de detecci´ on de aplicaciones malware de Android. Considerando este problema espec´ ıfico y el uso de algoritmos cu´ anticos, con algunas de las t´ ecnicas analizadas se logra obtener un F1-score superior al 90 %. Estos prometedores resultados permiten seleccionar las t´ ecnicas m´ as ´ optimas a la hora de trabajar con datasets con un gran volumen de caracter´ ısticas, facilitando as´ ı la posterior aplicaci´ on de algoritmos de Quantum Machine Learning. Index Terms—Quantum Machine Learning, Recursive Feature Elimination, PCA, MCA, Chi Square, Informaci´ on Mutua, VQC, PQSVC, QSVC. Tipo de contribuci´ on: Investigaci´ on en desarrollo I. INTRODUCCI´ ON En la actualidad, la aplicaci´ on de computaci´ on cu´ antica est´ a emergiendo con fuerza en diferentes ´ ambitos tecnol´ ogicos, aunque a´ un no ha alcanzado el mismo nivel de desarrollo que el Machine Learning (ML) cl´ asico. En diversos trabajos [1], [2] se trata el tema. En el art´ ıculo [3] se demuestra la base te´ orica de la computaci´ on cu´ antica, mientras que en [4], se argumenta que un sistema cl´ asico no podr´ ıa representar adecuadamente un sistema mec´ anico cu´ antico. Dentro de este innovador campo, hay una subdisciplina conocida como Quantum Machine Learning (QML) que se encuentra a´ un en una fase incipiente de publicaciones. Un ejemplo interesante de su aplicaci´ on se encuentra en el trabajo [5], en el que se usan las aproximaciones cu´ anticas conocidas como Variational Quantum Circuits (VQC) y Quantum Support Vector Classifier (QSVC) para afrontar el desaf´ ıo de la detecci´ on de phishing en la red de transacciones de Ethereum. En este caso, se observa una mejora en los resultados al utilizar QML en comparaci´ on con ML tradicional. Al considerar diferentes modelos de QML, como el de los VQC, dependiendo del volumen del conjunto de datos y de la capacidad computacional disponible, los tiempos de ejecuci´ on suelen ser bastante elevados. Para optimizar estos tiempos, se tiende a reducir el n´ umero de variables con respecto a las iniciales e incluso se suele tambi´ en reducir el n´ umero de observaciones. En este escenario, disponer de t´ ecnicas que permitan realizar estas acciones sin excesiva p´ erdida de informaci´ on es fundamental. Es ah´ ı donde cobran especial importancia las t´ ecnicas de reducci´ on de caracter´ ısticas. Otros de los problemas que encontramos cuando se trabaja con grandes vol´ umenes de datos es que los actuales sistemas cu´ anticos suelen tener bastantes limitaciones en t´ erminos de la cantidad y calidad de los de c´ ubits. A medida que aumenta la complejidad del conjunto de datos, puede volverse bastante dif´ ıcil implementar y ejecutar algoritmos de QML en hardware cu´ antico por culpa de esas limitaciones. Reducir la dimensionalidad del conjunto de datos puede ayudar a mitigar ese problema, al reducir la cantidad de recursos necesarios para la ejecuci´ on del algoritmo, permitiendo as´ ı que sea m´ as factible implementar en el hardware cu´ antico disponible. Por otra parte, dentro de este campo se pueden encontrar modelos como el Pegasos Quantum Support Vector Machine, que est´ a pensado para trabajar con grandes vol´ umenes de datos. Su tiempo de ejecuci´ on suele ser un poco m´ as elevado con respecto a cualquier modelo de ML. Esto se debe principalmente a la implementaci´ on de un kernel cu´ antico, que marca la diferencia clave entre ambos enfoques. El objetivo de esta investigaci´ on es analizar el impacto que provocan las diferentes t´ ecnicas de reducci´ on de caracter´ ısticas en los modelos QML en combinaci´ on con los diferentes algoritmos disponibles en este ´ ambito, evaluando tanto los tiempos de ejecuci´ on como la precisi´ on resultante. Para llevar a cabo este estudio se ha seleccionado un conjunto de datos que aborda el problema de detectar aplicaciones con malware en el sistema Android. Este trabajo se estructura como sigue. En la Secci´ on II se introducen brevemente unos conceptos previos sobre computaci´ on cu´ antica y QML. En la secci´ on III se aborda trabajos relacionados para contextualizar mejor el estudio en el panorama m´ as amplio de la investigaci´ on en QML. En la secci´ on IV se presentan las caracter´ ısticas generales del conjunto de datos y del preprocesado llevado a cabo. En la secci´ on V se detallan los modelos utilizados, cuyos resultados se muestran en la secci´ on VI. En la secci´ on VII, se discuten los resultados obtenidos. Por ´ ultimo, el trabajo se cierra en la secci´ on VI con algunas conclusiones y trabajos futuros. II. CONCEPTOS PREVIOS En esta secci´ on se explican brevemente algunas nociones sobre computaci´ on cu´ antica, los principios de QML y las t´ ecnicas de selecci´ on de caracter´ ısticas para el an´ alisis. JNIC 2024 ISBN:978-84-09-62140-8 382 II-A. Computaci´ on Cu´ antica La idea de los ordenadores cu´ anticos naci´ o en la d´ ecada de los 80 [6]. La computaci´ on cu´ antica permite realizar c´ alculos aprovechando el comportamiento de las part´ ıculas cu´ anticas. Mientras que la unidad m´ ınima de informaci´ on en los ordenadores cl´ asicos es el bit, en los ordenadores cu´ anticos son los c´ ubits, que son probabil´ ısticos. Concretamente, los c´ ubits pueden estar en alguno de sus estados b´ asicos |0⟩,|1⟩, pero tambi´ en pueden estar en un estado adicional, que se denomina estado de superposici´ on: |ψ⟩=α|0⟩+β|1⟩(1) donde |α|2+|β|2= 1, adem´ as, α, β ∈Cy se denominan α, β amplitudes de estado. Los c´ ubits pueden ser manipulados usando puertas cu´ anticas, que operan sobre los diferentes posibles estados del conjunto de c´ ubits sobre los que se aplican. Algunas de las puertas m´ as significativas son: Puerta CNOT: Dados 2 c´ ubits, si el primer c´ ubit est´ a en estado |1⟩invierte el estado del segundo c´ ubit. Puerta de Hadamard: Coloca un c´ ubit en estado de superposici´ on. Puerta de Toffoli: Extensi´ on a 3 c´ ubits de la puerta CNOT. II-B. Quantum Machine Learning QML es un campo en desarrollo que fusiona la f´ ısica cu´ antica, la computaci´ on cu´ antica y el ML para mejorar o acelerar las tareas de computaci´ on cl´ asica. Estas tareas incluyen optimizaci´ on, modelado generativo, inferencia, clasificaci´ on y regresi´ on en el ´ ambito del aprendizaje autom´ atico. Este campo se puede clasificar en dos categor´ ıas principales: ML mejorado mediante t´ ecnicas cu´ anticas y QML [7]. II-C. Algoritmos de Quantum Machine Learning Quantum Support Vector Classifier Quantum Support Vector Classifier es la versi´ on cu´ antica de la t´ ecnica de Support Vector Classsifier. Este modelo incorpora kernel cu´ anticos en el proceso de clasificaci´ on, y tiene como objetivo mejorar potencialmente el rendimiento de las tareas de clasificaci´ on de ML. Los kernels cu´ anticos pueden verse como una versi´ on mejorada de los kernels cl´ asicos, que se utilizan para proyectar datos en espacios de caracter´ ısticas de mayor dimensi´ on, lo que facilita su separaci´ on y clasificaci´ on. Esto se debe a que el kernel cu´ antico aprovecha la computaci´ on cu´ antica para calcular eficientemente medidas de similitud entre estados cu´ anticos, que representan los datos en el espacio de caracter´ ısticas mejoradas cu´ anticamente [7]. Pegasos Quantum Support Vector Classifier Pegasos Quantum Support Vector Classifier (PQSVC) es un algoritmo de QML que acelera el c´ alculo de SVM mediante el uso de principios de la mec´ anica cu´ antica. Es la versi´ on cu´ antica del algoritmo Pegasos. El kernel cu´ antico de fidelidad en Pegasos Quantum Support Vector Machine facilita el c´ alculo de productos internos en espacios de caracter´ ısticas de alta dimensi´ on, lo que permite la separaci´ on de datos complejos y no linealmente separables [15]. Variational Quantum Classifier La t´ ecnica de Circuito Cu´ antico Variacional (VQC) emplea Circuitos Cu´ anticos Parametrizados que incorporan un mapa de caracter´ ısticas (feature map) para codificar datos en un estado cu´ antico. Utiliza un optimizador cl´ asico para ajustar los par´ ametros del circuito, conocidos colectivamente como ’ansatz’. Estos circuitos son an´ alogos a las redes neuronales cl´ asicas en cuanto act´ uan como aproximadores universales de funciones, utilizando una evoluci´ on unitaria para mapear el estado cu´ antico que contiene las caracter´ ısticas del problema al estado que contiene las etiquetas [7]. Algunos ansatz m´ as utilizados son: •EfficientSU2: El circuito generado por EfficientSU2 est´ a compuesto de varias capas. Cada capa consta de dos partes: Rotaciones de un solo qubit: Se aplican rotaciones generales sobre cada qubit individual. Estas rotaciones son parametrizadas por tres ´ angulos, permitiendo una rotaci´ on arbitraria en el espacio de Bloch de cada qubit. Matem´ aticamente, estas rotaciones pueden describirse por operadores del tipo U(θ, ϕ, λ)que corresponden a una rotaci´ on SU(2). Entrelazamientos: Despu´ es de las rotaciones de un solo qubit, se aplican puertas de entrelazamiento entre pares de qubits. Normalmente se usan puertas CNOT que ayudan a generar el entrelazamiento necesario entre los qubits para representar una transformaci´ on unitaria general sobre el estado completo del sistema cu´ antico.[12]. •RealAmplitudes: El circuito es una funci´ on de onda de prueba heur´ ıstica que se utiliza como Ansatz en aplicaciones qu´ ımicas o circuitos de clasificaci´ on en aprendizaje autom´ atico. El circuito consta de capas alternas de RealAmplitudes Yrotaciones y CX Enredos. El patr´ on de entrelazamiento puede ser definido por el usuario o seleccionado de un conjunto predefinido. Se llama as´ ı porque los estados cu´ anticos preparados solo tendr´ an amplitudes reales, la parte compleja siempre es 0 [13]. •ExcitationPreserving: el circuito conserva la relaci´ on de |00⟩,|01⟩+|11⟩y|11⟩estados. La matriz que representa la operaci´ on es:     1 0 0 0 0 cos θ/2−sin θ/2 0 0 sin θ/2 cos θ/2 0 0 0 0 e−Iψ     Esta funci´ on de onda de prueba consta de capas de Zrotaciones con entrelazamientos de 2 qubits. El enredo se crea usando XX +Y Y rotaciones y, opcionalmente, una puerta de fase controlada para el modo [14]. II-D. T´ ecnicas de selecci´ on de caracter´ ısticas Recursive Feature Elimination La t´ ecnica de Recursive Feature Elimination (RFE) busca eliminar las caracter´ ısticas redundantes y seleccionar la m´ as relevantes del conjunto de datos completo. El objetivo es encontrar un subconjunto ´ optimo de Exploraci´on y Evaluaci´on de T´ecnicas de Reducci´on de Caracter´ısticas en Quantum Machine Learning 383 caracter´ ısticas que mejore el rendimiento del modelo. Repetidamente crea modelos y reserva la mejor o peor caracter´ ıstica en cada iteraci´ on. Al final, las caracter´ ısticas se eliminan o conservan seg´ un su impacto en el rendimiento del modelo, hasta que se agotan todas las caracter´ ısticas [16]. Principal Component Analysis La t´ ecnica de Principal Component Analysis (PCA) es un m´ etodo de selecci´ on de caracter´ ıstica que funciona de la siguiente forma. Primero, para cada componente de caracter´ ıstica resta su valor promedio. Segundo, se calcula la matriz de covarianza, el valor de la caracter´ ıstica y el vector de caracter´ ısticas. Luego se ordena en orden descendente seg´ un los valores de la caracter´ ıstica. Finalmente, se determina el n´ umero de componentes principales n (n´ umero de componentes de caracter´ ısticas seleccionadas) y se seleccionan los primeros n componentes de caracter´ ısticas como caracter´ ısticas seleccionadas finales [17]. Multiple Correspondence Analysis Multiple Correspondence Analysis (MCA) es el sistema equivalente al PCA para datos nominales. Por otro lado, el MCA es una extensi´ on del Correspondence Analysis (CA) est´ andar, que permite analizar m´ as de dos variables a la vez. En el MCA, se crea una matriz de indicadores donde las filas representan las instancias y las columnas representan las categor´ ıas de las variables. Para aplicar el MCA, primero se discretizan las caracter´ ısticas en intervalos o valores nominales, y luego se combinan con la clase para formar la matriz de indicadores [18]. Chi Square La prueba chi-square es un conocido test de hip´ otesis usado para determinar si existe una relaci´ on entre dos variables categ´ oricas. Esta prueba aplicada a la selecci´ on de caracter´ ısticas se emplea para evaluar la independencia entre la caracter´ ıstica y el objetivo. B´ asicamente, eval´ ua la relevancia de cada una de las caracter´ ısticas. Requiere que las caracter´ ısticas num´ ericas se adapten a una forma discreta antes de hacer los c´ alculos, de modo que la suma se realice sobre cada valor de la caracter´ ıstica. Las caracter´ ısticas m´ as relevantes se seleccionan en funci´ on de los valores m´ as alto obtenidos en la prueba [19]. Informaci´ on Mutua La Mutual Information (MI) es un m´ etodo basado en filtros que se utiliza con frecuencia. Este m´ etodo mide la importancia de la informaci´ on de las caracter´ ısticas al seleccionar criterios espec´ ıficos con etiquetas de clase. Se asume que las caracter´ ısticas con una fuerte correlaci´ on con la inestabilidad mejorar´ an el rendimiento de la clasificaci´ on [20]. El m´ etodo MI se utiliza para representar el grado de correlaci´ on entre la caracter´ ıstica ’t’ y la categor´ ıa ’C’, donde la categor´ ıa ’C’ es la variable dependiente [21]. III. INVESTIGACI´ ON EN QML YDETECCI ´ ON DE MALWARE EN ANDROID CON ML Esta secci´ on examina el panorama de la investigaci´ on en QML y su relevancia en diversos contextos, incluida la detecci´ on de malware en dispositivos Android utilizando t´ ecnicas de Machine Learning (ML). El primer ejemplo que vamos a ver es la detecci´ on de Phising. En el art´ ıculo [5] la problem´ atica abordada es la detecci´ on de cuentas de phishing en la plataforma Ethereum. El estudio presenta resultados de un marco propuesto con datos codificados mediante QRAC y los compara con otros esquemas de codificaci´ on tanto en simuladores como en hardware cu´ antico real. Los resultados muestran que los modelos basados en QRAC superan a los modelos basados en otros esquemas de codificaci´ on, incluso en comparaci´ on con algoritmos de ML cl´ asico como SVM y LGBM. Adem´ as, se discuten observaciones sobre el rendimiento de diferentes t´ ecnicas de codificaci´ on y modelos de QML en diferentes configuraciones. Se sugiere la aplicaci´ on de t´ ecnicas de mitigaci´ on de errores para mejorar el rendimiento en entornos de hardware real. El art´ ıculo [8] destaca la investigaci´ on sobre el uso de m´ etodos de QML para analizar grandes vol´ umenes de datos de seguridad en redes. Se identificaron la plataforma Qiskit y el marco Tensorflow Quantum como las m´ as prometedoras. Se desarroll´ o un conjunto de datos de flujo para mejorar el procesamiento QML, y se implement´ o un m´ etodo de codificaci´ on para transformar la representaci´ on de bits en qubits. Se encontr´ o que la detecci´ on de intrusiones basada en QML supera en precisi´ on y rendimiento a los enfoques tradicionales de ML. Los clasificadores QSVM y QCNN alcanzaron una precisi´ on del 98 %, aunque el QCNN se considera m´ as prometedor debido a su capacidad para seleccionar caracter´ ısticas significativas y variar la complejidad del m´ etodo. El trabajo futuro se enfoca en la optimizaci´ on de algoritmos y esquemas de paralelizaci´ on para el entrenamiento r´ apido de modelos QML. Otro ejemplo que podemos encontrar es el art´ ıculo [9]. El estudio aborda la interpretaci´ on de modelos cu´ anticos de ML, destacando la diferencia fundamental en la interpretabilidad entre modelos cu´ anticos y cl´ asicos. Utiliza el conjunto de datos Iris para ilustrar un enfoque de interpretaci´ on basado en la regi´ on local de indecisi´ on, que supera las limitaciones de t´ ecnicas cl´ asicas como LIME. Adem´ as, propone un m´ etodo para aproximar esta regi´ on, lo que facilita la interpretaci´ on de modelos cu´ anticos en t´ erminos de sus l´ ımites de decisi´ on. Este enfoque tiene implicaciones importantes para mejorar la transparencia y la interpretabilidad en la era de la computaci´ on cu´ antica y el aprendizaje autom´ atico. Dos art´ ıculos que abordan la detecci´ on de aplicaciones maliciosas en dispositivos Android mediante t´ ecnicas de Machine Learning. El art´ ıculo [10] presenta un m´ etodo propuesto para detectar malware ofuscado en dispositivos Android mediante un an´ alisis din´ amico con aprendizaje profundo explicativo. Se utiliza una Red Neuronal Convolucional (CNN) desarrollada por los autores, la cual procesa trazas de llamadas al sistema extra´ ıdas de aplicaciones en ejecuci´ on para generar im´ agenes. Estas im´ agenes se utilizan para construir un conjunto de datos N. Reyes Dorta, P. Caballero-Gil and C. Rosa Remedios 384 para entrenar la CNN. El m´ etodo de detecci´ on de malware propuesto consta de tres pasos principales: recolectar trazas de llamadas al sistema, generar im´ agenes a partir de estas trazas y entrenar el modelo de aprendizaje profundo. La efectividad del modelo se eval´ ua en la detecci´ on de malware ofuscado utilizando dos conjuntos de datos obtenidos de repositorios. El art´ ıculo [11] introduce H-LIME, un m´ etodo de explicaci´ on para modelos de aprendizaje autom´ atico de caja negra enfocado en aplicaciones de seguridad y programaci´ on. H- LIME supera a otros m´ etodos de explicabilidad en t´ erminos de precisi´ on, completitud, dispersi´ on, estabilidad y eficiencia. Se eval´ ua rigurosamente utilizando criterios espec´ ıficos y se demuestra que proporciona explicaciones m´ as precisas, dispersas y completas que LIME, especialmente en la detecci´ on de malware malicioso. Adem´ as, H-LIME puede identificar ubicaciones espec´ ıficas de caracter´ ısticas maliciosas y patrones, lo que lo hace vers´ atil para explicar decisiones en modelos de aprendizaje autom´ atico con estructuras de datos jer´ arquicas. IV. DATASET Para llevar a cabo esta investigaci´ on, se seleccion´ o el conjunto de datos disponible en: https://figshare.com/articles/dataset/Android malware dataset for machine learning 2/5854653/1?file=10391994. Este conjunto de datos aborda el problema de detecci´ on de malware en dispositivos Android y consta de 215 atributos extra´ ıdos de 15,036 aplicaciones. De estas aplicaciones, 5,560 son de malware del proyecto DREBIN, mientras que 9,476 son aplicaciones benignas. Es importante destacar que este conjunto de datos se encuentra desbalanceado dada la disparidad en el n´ umero de aplicaciones maliciosas y benignas [22]. El proyecto DREBIN es un sistema de detecci´ on de malware dise˜ nado espec´ ıficamente para dispositivos Android. DREBIN utiliza un an´ alisis est´ atico amplio para extraer conjuntos de caracter´ ısticas de diferentes fuentes, los cuales son mapeados a un espacio vectorial conjunto. A continuaci´ on, se emplean t´ ecnicas de aprendizaje autom´ atico, como M´ aquinas de Vectores de Soporte lineales, para identificar malware. En el ´ ultimo paso, se identifican las caracter´ ısticas que contribuyen a la detecci´ on de una aplicaci´ on maliciosa y se presentan al usuario para explicar el proceso de detecci´ on. Estas caracter´ ısticas incluyen permisos, llamadas a Application Programming Interface (API), m´ etodos de cifrado y descifrado, entre otros [23]. Al aplicar los m´ etodos de selecci´ on de caracter´ ısticas Recursive Feature Elimination,Chi Square y MI sobre este dataset, se identificaron las caracter´ ısticas m´ as relevantes mostradas en la Figura 1. Estas caracter´ ısticas contienen la siguiente informaci´ on: transact Permite que un proceso env´ ıe mensajes a otro proceso a trav´ es de la interfaz IBinder. SEND SMS indica si una aplicaci´ on tiene o no permiso para enviar mensajes de texto a trav´ es de SMS. onServiceConnected, bindService, attachInterface, ServiceConnection: Estas caracter´ ısticas est´ an relacionadas con la conexi´ on y vinculaci´ on de servicios en Android. android.os.Binder esta caracter´ ıstica podr´ ıa est´ a relacionada con el uso de la clase Binder en Android, que se utiliza para la comunicaci´ on entre procesos. Figura 1. Criterio resultante de selecci´ on de caracter´ ısticas WRITE HISTORY BOOKMARKS indica si la aplicaci´ on tiene permisos para escribir marcadores en el historial del navegador. READ PHONE STATE, TelephonyManager.getDeviceld hacen referencia a la posibilidad de acceder al estado de la llamada y de obtener el identificador ´ unico del dispositivo o International Mobile Equipment Identity (IMEI). IV-A. Preprocesado de datos Todas las variables que conforman el dataset son variables categ´ oricas que toman el valor 0 o 1. Adem´ as, al estudiar posibles datos duplicados se detectan 7.786 observaciones repetidas. En consecuencia se ha decidido eliminar esas observaciones duplicadas. Dado que el objetivo es aplicar modelos cu´ anticos a este conjunto de datos, se necesita reducir tanto el n´ umero de observaciones como el n´ umero de variables. Para ello, se han aplicado los siguientes m´ etodos: RFE PCA MCA Chi Square MI Se ha decidido mantener un n´ umero de 6 variables independientes, ya que utilizar un n´ umero mayor de variables generar´ ıa tiempos de ejecuci´ on de los modelos superiores a 3 horas. Adem´ as, se han seleccionado 100 observaciones aleatorias de cada una de las clases. Finalmente hemos obtenido un conjunto de datos de 7 caracter´ ısticas contando con la variable dependiente y con 200 observaciones. Para el entrenamiento se ha decidido utilizar el 80% de observaciones y para la prueba el 20 % de observaciones. V. PROPUESTA PARA EL MODELO Para el conjunto de datos analizado se implementaron los siguientes modelos: VQC QSVC PQSVC Para el VQC se eligi´ o como feature map el ZZFeatureMap con dos repeticiones. Exploraci´on y Evaluaci´on de T´ecnicas de Reducci´on de Caracter´ısticas en Quantum Machine Learning 385 Como ansatz o circuito cu´ antico parametrizado se eligieron: RealAmplitudes (1) EfficientSU2 (2) ExcitationgPreserving (3) Como algoritmos de optimizaci´ on se eligieron: SLSQP COBYLA GradientDescent SPSA Tanto el modelo PQSVC como el QSVC est´ an basados en SVC pero se benefician de un n´ ucleo cu´ antico. Para la generaci´ on de ese n´ ucleo cu´ antico se utiliza el mapa de caracter´ ıstica ZFeatureMap con una repetici´ on y la fidelidad predeterminada instanciada en FidelityQuantumKernel. Adem´ as, tanto PQSVC como QSVC est´ an dise˜ nados para analizar grandes conjuntos de datos. Sin embargo, en este caso se ha utilizado el mismo conjunto de datos que el usado en VQC. VI. RESULTADOS En esta secci´ on se comparan los resultados obtenidos al aplicar cada una de las t´ ecnicas de reducci´ on de caracter´ ısticas seleccionadas en combinaci´ on con las distintas parametrizaciones del modelo QML. Se han usado los par´ ametros: Precisi´ on, F1-score y Tiempo de ejecuci´ on como referencia, salvo en el caso de los modelos de PQSVC y QSVC, donde se ha omitido el tiempo de ejecuci´ on ya que el entrenamiento se realiza en menos de 1 minuto. Todos los modelos se implementaron en un PC con un procesador Intel i7-13700H y 16 GB de memoria RAM. Se ha utilizado como herramienta de simulaci´ on Qiskit sobre python. Qiskit es un marco de desarrollo de c´ odigo abierto desarrollado por IBM para trabajar con computadoras cu´ anticas. Proporciona una variedad de herramientas y bibliotecas que permiten a los investigadores y desarrolladores simular y ejecutar algoritmos cu´ anticos en computadoras cu´ anticas reales o simuladas. Tabla I RECURSIVE FEATURE ELIMINATION (BENIGNAS) Optimizador Ansatz Precisi´ on F1-score Tiempo ( %) ( %) (seg) SLSQP (1) 100,00 73,68 4245 SLSQP (2) 90,00 81,81 15625 SLSQP (3) 95,45 91,30 28733 COBYLA (1) 90,00 81,82 171 COBYLA (2) 73,91 72,34 214 COBYLA (3) 100,00 85,71 352 GradiantDescent (1) 100 66,67 1077 GradiantDescent (2) 71,43 66,67 2422 GradiantDescent (3) 100 50,00 13116 SPSA (1) 94,74 83,72 436 SPSA (2) 94,74 83,72 543 SPSA (3) 94,74 83,72 889 VII. DISCUSI ´ ON Para evaluar el impacto de las diversas t´ ecnicas de reducci´ on de caracter´ ısticas, se ha empleado la m´ etrica F1-score. que combina la precisi´ on y el recall, lo que proporciona una evaluaci´ on m´ as equilibrada del rendimiento del modelo que si se evaluaran estas m´ etricas por separado. Tabla II RECURSIVE FEATURE ELIMINATION (NO BENIGNAS) Optimizador Ansatz Precisi´ on F1-score Tiempo ( %) ( %) (seg) SLSQP (1) 61,54 76,19 4245 SLSQP (2) 70,00 77,78 15625 SLSQP (3) 83,33 88,24 28733 COBYLA (1) 70,00 77,78 171 COBYLA (2) 58,82 60,61 214 COBYLA (3) 72,73 84,21 352 GradiantDescent (1) 57,14 72,73 1077 GradiantDescent (2) 52,63 57,14 2422 GradiantDescent (3) 50,00 66,68 13116 SPSA (1) 71,43 81,08 436 SPSA (2) 71,43 81,08 543 SPSA (3) 71,43 81,08 889 Tabla III RECURSIVE FEATURE ELIMINATION (BENIGNAS) Modelo Precisi´ on F1-score ( %) ( %) PQSVC 92,00 93,88 QSVC 92,00 93,88 Tabla IV RECURSIVE FEATURE ELIMINATION (NO BENIGNAS) Modelo Precisi´ on F1-score ( %) ( %) PQSVC 93,33 90,32 QSVC 93,33 90,32 Tabla V PCA (BENIGNAS) Optimizador Ansatz Precisi´ on F1-score Tiempo ( %) ( %) (seg) SLSQP (1) 61,54 64,00 1293 SLSQP (2) 68,42 60,47 6501 SLSQP (3) 50,00 45,46 13235 COBYLA (1) 72,73 66,67 545 COBYLA (2) 55,00 50,00 591 COBYLA (3) 50,00 47,83 734 GradiantDescent (1) 60,00 54,55 1069 GradiantDescent (2) 69,57 54,55 2525 GradiantDescent (3) 54,55 52,17 13205 SPSA (1) 63,16 55,81 1392 SPSA (2) 54,17 54,17 1529 SPSA (3) 68,42 60,47 1890 Tabla VI PCA (NO BENIGNAS) Optimizador Ansatz Precisi´ on F1-score Tiempo ( %) ( %) (seg) SLSQP (1) 42,86 40,00 1293 SLSQP (2) 47,62 54,05 6501 SLSQP (3) 30,00 33,33 13235 COBYLA (1) 55,56 58,82 545 COBYLA (2) 35,00 38,89 591 COBYLA (3) 27,78 47,83 734 GradiantDescent (1) 40,00 44,44 1069 GradiantDescent (2) 52,94 54,55 2525 GradiantDescent (3) 33,33 35,29 13205 SPSA (1) 42,86 48,65 1392 SPSA (2) 31,25 31,25 1529 SPSA (3) 47,62 54,05 1890 En el caso del m´ etodo Recursive Feature Elimination en combinaci´ on con el modelo VQC, se observa que se obtie- N. Reyes Dorta, P. Caballero-Gil and C. Rosa Remedios 386 Tabla VII PCA ( BENIGNAS) Modelo Precisi´ on F1-score ( %) ( %) PQSVC 76,19 71,11 QSVC 80,00 72,73 Tabla VIII PCA (NO BENIGNAS) Modelo Precisi´ on F1-score ( %) ( %) PQSVC 57,89 62,86 QSVC 60,00 66,67 Tabla IX MCA ( BENIGNAS) Optimizador Ansatz Precisi´ on F1-score Tiempo ( %) ( %) (seg) SLSQP (1) 84,21 74,42 2680 SLSQP (2) 90,45 84,44 2700 SLSQP (3) 59,09 56,52 13648 COBYLA (1) 68,75 55,00 553 COBYLA (2) 75,00 75,00 596 COBYLA (3) 60,00 46,15 740 GradiantDescent (1) 68,42 60,47 1194 GradiantDescent (2) 50,00 36,84 2601 GradiantDescent (3) 46,15 32,43 13720 SPSA (1) 71,43 66,67 1428 SPSA (2) 85,00 77,27 1537 SPSA (3) 70,59 56,41 1972 Tabla X MCA (NO BENIGNAS) Optimizador Ansatz Precisi´ on F1-score Tiempo ( %) ( %) (seg) SLSQP (1) 61,90 70,27 2680 SLSQP (2) 73,68 80,00 2700 SLSQP (3) 38,88 41,17 13648 COBYLA (1) 45,83 55,00 553 COBYLA (2) 62,50 62,50 596 COBYLA (3) 40,00 48,15 740 GradiantDescent (1) 47,62 54,05 1194 GradiantDescent (2) 34,62 42,86 2601 GradiantDescent (3) 33,33 41,86 13720 SPSA (1) 52,63 57,14 1428 SPSA (2) 65,00 72,22 1537 SPSA (3) 47,83 56,41 1972 Tabla XI MCA (BENIGNAS) Modelo Precisi´ on F1-score ( %) ( %) PQSVC 92,00 93,88 QSVC 100 93,33 Tabla XII MCA (NO BENIGNAS) Modelo Precisi´ on F1-score ( %) ( %) PQSVC 93,33 90,32 QSVC 84,21 91,43 nen mejores resultados al utilizar los optimizadores SPSA y SLSQP. Destacan particularmente las combinaciones SLSQP con el ansatz ExcitationgPreserving, y COBYLA con el Tabla XIII Chi Square (BENIGNAS) Optimizador Ansatz Precisi´ on F1-score Tiempo ( %) ( %) (seg) SLSQP (1) 100,00 80,00 1108 SLSQP (2) 100,00 76,92 2507 SLSQP (3) 100,00 82,93 13578 COBYLA (1) 94,74 83,72 178 COBYLA (2) 100,00 76,92 222 COBYLA (3) 78,26 76,60 365 GradiantDescent (1) 20,00 0,07 1062 GradiantDescent (2) 28,57 26,67 2496 GradiantDescent (3) 31,82 30,43 13588 SPSA (1) 100,00 80,00 457 SPSA (2) 100,00 76,92 570 SPSA (3) 95,00 86,37 931 Tabla XIV Chi Square (NO BENIGNAS) Optimizador Ansatz Precisi´ on F1-score Tiempo ( %) ( %) (seg) SLSQP (1) 66,67 80,00 1108 SLSQP (2) 64,00 78,05 2507 SLSQP (3) 69,57 82,05 13578 COBYLA (1) 71,43 81,08 178 COBYLA (2) 64,00 78,05 222 COBYLA (3) 64,71 66,67 365 GradiantDescent (1) 34,29 47,06 1062 GradiantDescent (2) 05,26 05,71 2496 GradiantDescent (3) 05,56 05,88 13588 SPSA (1) 66,67 80,00 457 SPSA (2) 64,00 78,05 570 SPSA (3) 75,00 83,33 931 Tabla XV Chi Square (BENIGNAS) Modelo Precisi´ on F1-score ( %) ( %) PQSVC 66,67 80,00 QSVC 95,00 86,37 Tabla XVI Chi Square (NO BENIGNAS) Modelo Precisi´ on F1-score ( %) ( %) PQSVC 100,00 40,00 QSVC 75,00 83,33 Tabla XVII INFORMACI ´ ON MUTUA (BENIGNAS) Optimizador Ansatz Precisi´ on F1-score Tiempo ( %) ( %) (seg) SLSQP (1) 100,00 80,00 1106 SLSQP (2) 100,00 82,93 2487 SLSQP (3) 94,74 83,72 13477 COBYLA (1) 100,00 80,00 172 COBYLA (2) 100,00 80,00 223 COBYLA (3) 100,00 76,92 365 GradiantDescent (1) 33,33 33,33 1059 GradiantDescent (2) 30,43 29,79 2478 GradiantDescent (3) 58,33 70,00 13573 SPSA (1) 100,00 82,93 449 SPSA (2) 100,00 80,00 570 SPSA (3) 94,74 83,72 927 ansatz ExcitationgPreserving. Por otro lado, en los modelos PQSVC y QSVC se obtienen los mismos resultados. Exploraci´on y Evaluaci´on de T´ecnicas de Reducci´on de Caracter´ısticas en Quantum Machine Learning 387 Tabla XVIII INFORMACI ´ ON MUTUA (NO BENIGNAS) Optimizador Ansatz Precisi´ on F1-score Tiempo ( %) ( %) (seg) SLSQP (1) 66,67 80,00 1106 SLSQP (2) 69,57 82,05 2487 SLSQP (3) 71,43 81,08 13477 COBYLA (1) 66,67 80,00 172 COBYLA (2) 76,67 80,00 223 COBYLA (3) 64,00 78,05 365 GradiantDescent (1) 00,00 00,00 1059 GradiantDescent (2) 00,00 00,00 2478 GradiantDescent (3) 25,00 10,00 13573 SPSA (1) 69,57 82,50 449 SPSA (2) 66,67 80,00 570 SPSA (3) 71,43 81,08 927 Tabla XIX INFORMACI ´ ON MUTUA (BENIGNAS) Modelo Precisi´ on F1-score ( %) ( %) PQSVC 60,00 75,00 QSVC 95,00 86,37 Tabla XX INFORMACI ´ ON MUTUA (NO BENIGNAS) Modelo Precisi´ on F1-score ( %) ( %) PQSVC 00,00 00,00 QSVC 75,00 83,33 En cuanto al m´ etodo PCA, se observa que, en combinaci´ on con el modelo VQC, se obtienen mejores resultados al utilizar el optimizador COBYLA. Entre estas combinaciones, sobresale COBYLA con el ansatz RealAmplitudes. Adem´ as, en comparaci´ on con el VQC, se observan resultados m´ as satisfactorios en los modelos PQSVC y QSVC. Con el m´ etodo de selecci´ on de caracter´ ısticas MCA, se aprecia que los mejores resultados se logran con los optimizadores SLSQP y SPSA usando el modelo VQC. Destacan las combinaciones SLSQP con el ansatz EfficientSU2, y SPSA con el ansatz EfficientSU2. Nuevamente, se observan resultados m´ as satisfactorios en los modelos PQSVC y QSVC en comparaci´ on con el VQC. Al emplear el m´ etodo de selecci´ on de caracter´ ısticas Chi Square, se obtienen los mejores resultados con los optimizadores COBYLA y SPSA. Sobresalen las combinaciones COBYLA con el ansatz RealAmplitudes, y SPSA con el ansatz ExcitationgPreserving. Sin embargo, se observan resultados menos satisfactorios en los modelos PQSVC y QSVC en comparaci´ on con el VQC. Finalmente, con el m´ etodo MI de selecci´ on de caracter´ ısticas, los mejores resultados se logran con los optimizadores SLSQP y SPSA. Entre estas combinaciones, sobresalen SLSQP con el ansatz EfficientSU2, y SPSA con el ansatz RealAmplitudes. En comparaci´ on con los modelos PQSVC y QSVC, se obtienes resultados menos satisfactorios al aplicar PQSVC. Sin embargo, se obtiene mejores resultados con el modelo QSVC en comparaci´ on con el VQC. En base a los resultados obtenidos, se puede concluir que el mejor m´ etodo de selecci´ on de caracter´ ısticas es el Recursive Feature Elimination ya que muestra un equilibrio consistente al aplicarse en diferentes modelos de QML. Por otro lado, los resultados de los m´ etodos PCA y MCA revelan un desempe˜ no insatisfactorio en comparaci´ on con otros enfoques, especialmente en combinaci´ on con el VQC. No obstante, se observan mejoras significativas al aplicar los modelos PQSVC y QSVC en combinaci´ on con el m´ etodo MCA, en comparaci´ on con los enfoques Chi Square, MI y PCA. En lo que respecta a los tiempos de ejecuci´ on, es notable la diferencia obtenida al aplicar los optimizadores COBYLA y SPSA, que destacan por su eficiencia al no depender del uso del gradiente. No obstante, se observa que el SPSA sobresale en todos los m´ etodos empleados para obtener los mejores resultados. Respecto a los ansatz, los resultados son similares en la mayor´ ıa de los m´ etodos, con la excepci´ on de una notable diferencia en el tiempo de ejecuci´ on al utilizar el ansatz ExcitationPreserving, especialmente en combinaci´ on con el optimizador SLSQP. El rendimiento del optimizador GradientDescent es considerablemente inferior en comparaci´ on con otros optimizadores. En contraste, los optimizadores SLSQP y SPSA brindan los mejores resultados en todos los m´ etodos empleados. A pesar de que el VQC produce resultados satisfactorios, se observa que al utilizar PQSVC y QSVC se obtienen resultados similares o incluso superiores en un tiempo de ejecuci´ on menor en comparaci´ on con el VQC, exceptuando el caso en el que se emplea el m´ etodo MI. VIII. CONCLUSIONES Esta investigaci´ on se basa en explorar las diferentes t´ ecnicas de selecci´ on de caracter´ ısticas y evaluarlas utilizando diferentes algoritmos de QML. Tras el an´ alisis de los diferentes m´ etodos de selecci´ on de caracter´ ısticas empleados se concluye que los mejores resultados se obtienen utilizando Recursive Feature Elimination debido al equilibrio que mantiene al emplear los diferentes modelos de Quantum Machine Learning. Al analizar los diferentes par´ ametros para VQC se concluye que los mejores optimizadores por norma general son el SLSQP y SPSA, destacando el SPSA, porque aunque no genera mejores resultados que el SLSQP, s´ ı tiene un menor tiempo de ejecuci´ on, lo que se debe tener en cuenta en funci´ on de la prioridad que se deba dar a este par´ ametro. Durante el estudio se ha detectado que el m´ etodo de selecci´ on de caracter´ ısticas PCA produce unos resultados muy pobres, aunque su versi´ on para los conjuntos de datos nominales MCA no produce resultados interesantes cuando se emplea el algoritmo VQC, produce resultados prometedores al aplicar el PQSVC y QSVC. Otro resultado que revela el estudio realizado es que tanto el VQC como PQSVC y QSVC obtienen resultados prometedores en la mayor´ ıa de los casos. La ´ unica diferencia es que tanto el PQSVC y QSVC est´ an pensados para analizar conjuntos de datos en menor tiempo de ejecuci´ on, lo cual queda patente en los valores obtenidos en las pruebas. En resumen, la computaci´ on cu´ antica ofrece ventajas significativas en t´ erminos de procesamiento masivo paralelo, selecci´ on de caracter´ ısticas y eficiencia en la optimizaci´ on de modelos en comparaci´ on con la computaci´ on cl´ asica, lo que N. Reyes Dorta, P. Caballero-Gil and C. Rosa Remedios 388 la hace m´ as ´ util y beneficiosa para el aprendizaje autom´ atico en ciertos escenarios y aplicaciones. Puesto que se trata de un trabajo en desarrollo, los siguientes pasos se dirigen a ampliar el abanico de datasets utilizados, as´ ı como optimizar la metodolog´ ıa para trabajar con conjuntos de datos de mayor tama˜ no, minimizando los tiempos de ejecuci´ on. AGRADECIMIENTOS Este trabajo ha sido posible gracias a las C´ atedras de Ciberseguridad de la Universidad de La Laguna patrocinadas por Binter, y por INCIBE en el marco de los fondos del Plan de Recuperaci´ on, Transformaci´ on y Resiliencia, financiada por la Uni´ on Europea (Next Generation). Adem´ as forma parte del proyecto PID2022-138933OB-I00 financiado por MCIN/AEI/ 10.13039/501100011033/FEDER, UE. REFERENCIAS [1] Jack D. Hidary: Quantum Computing: An Applied Approach, vol. 1, Springer, 2019. [2] Paramita Basak Upama, Md Jobair Hossain Faruk, Mohammad Nazim, Mohammad Masum, Hossain Shahriar, Gias Uddin, Shabir Barzanjeh, Sheikh Iqbal Ahamed, Akond Rahman: Evolution of Quantum Computing: A Systematic Survey on the Use of Quantum Computing Tools, IEEE Annual Computers, Software and Applications Conference, 2022. [3] Paul Benioff: The computer as a physical system: A microscopic quantum mechanical hamiltonian model ofcomputers as represented by turing machines, Journal of Statistical Physics, vol. 22, pp 563–591, 1980. [4] Richard P. Feynman: Simulating physics with computers, International Journal of Theoretical Physics, vol. 21, pp. 467-488, 1982. [5] Anupama Ray, Sai Sakunthala, Anil Prabhakar: Improving phishing detection in Ethereum transaction network using Quantum Machine Learning, IEEE International Conference on Quantum Computing and Engineering, 2023. [6] Michael Nofer, Kevin Bauer, Oliver Hinz, Wil van der Aalst, Christof Weinhardt: Quantum Computing, Bussines & Information Systems Engineering, vol. 65, pp. 361-367, 2023. [7] Hacene Belhadef, Hala Benchiheb, Lynda Lebdjiri: Exploring the Capabilities and Limitations of VQC and QSVC for Sentiment Analysis on Real-World and Synthetic Datasets, European Conference on Advances in Databases and Information Systems, vol. 1850, pp. 415-424, Springer, 2023. [8] Maxim Kalinin, Vasiliy Krundyshev: Security intrusion detection using quantum machine learning techniques, Journal of Computer Virology and Hacking Techniques (2023) vol. 19, pp. 125–136. [9] Lirand¨ e Pira, Chris Ferrie: On the Interpretability of Quantum Neural Networks, 2023. [10] Francesco Mercaldo, Giovanni Ciaramella, Antonella Santone, Fabio Martinelli: Obfuscated Mobile Malware Detection by Means of Dynamic Analysis and Explainable Deep Learning, ARES 2023. [11] Jeff Mitchell, Niall McLaughlin, Jesus Martinez-del-Rincon: Generating sparse explanations for malicious Android opcode sequences using hierarchical LIME, 2024. [12] https://docs.quantum.ibm.com/api/qiskit/qiskit.circuit.library. EfficientSU2. [13] https://docs.quantum.ibm.com/api/qiskit/qiskit.circuit.library. RealAmplitudes. [14] https://docs.quantum.ibm.com/api/qiskit/0.19/qiskit.circuit.library. ExcitationPreserving#excitationpreserving. [15] R. Bhavsar, N. K. Jadav, U. Bodkhe, R. Gupta, S. Tanwar, P. N. Bokoro: Classification of Potentially Hazardous Asteroids Using Supervised Quantum Machine Learning, IEEE Access, vol.11, pp. 75829-75848, 2023. [16] R.K.Jeyauthmigha, R.C.Suganthe: Recursive Feature Elimination and Clustering Technique for Network Anomaly Detection, International Conference on Current Trends towards Converging Technologies, pp. 1-6, 2018. [17] X. Yu, Y. Ma, R. Jin, L. Xu, X. Duan: A Multi-Scale Feature Selection Method for Steganalytic Feature GFR, IEEE Access, vol.8, 2020. [18] Qiusha Zhu, Lin Lin, Mei-Ling Shyu, Shu-Ching Chen: Feature Selection Using Correlation and Reliability Based Scoring Metric for Video Semantic Detection, IEEE Fourth International Conference on Semantic Computing, pp. 462-469, 2010. [19] Sushil Kumar, V.B Singh, S.K Muttoo: Bug Report Classification by Selecting Relevant Features Using Chi Square, Information Gain and Latent Semantic Analysis, International Conference on Reliability, Infocom Technologies and Optimization (Trends and Future Directions), pp. 1-5, 2021. [20] Hastari Utama: Sentiment Analysis in Airline Tweets Using Mutual Information for Feature Selection, International Conference on Information Technology, Information Systems and Electrical Engineering, pp. 295-300, 2019. [21] Liang Ting, Yu Qingsong: Spam Feature Selection Based on the Improved Mutual Information Algorithm, International Conference on Multimedia Information Networking and Security, pp. 67-70, 2012. [22] Suleiman Y. Yerima, Sakir Sezer: DroidFusion: A Novel Multilevel Classifier Fusion Approach for Android Malware Detection, IEEE Transactions on Cybernetics, vol. 49, No. 2, 2019. [23] Daniel Arp, Michael Spreitzenbarth, Malte Hubner, Hugo Gascon, Konrad Rieck: DREBIN: Effective and Explainable Detection of Android Malware in Your Pocket, Ndss, vol. 14, pp. 23-26, 2014. Exploraci´on y Evaluaci´on de T´ecnicas de Reducci´on de Caracter´ısticas en Quantum Machine Learning 389