Análisis de componentes principales
De OCHA Colombia Wiki
En estadística, el análisis de componentes principales (en español ACP, en inglés, PCA) es una técnica utilizada para reducir la dimensionalidad de un conjunto de datos. Intuitivamente la técnica sirve para hallar las causas de la variabilidad de un conjunto de datos y ordenarlas por importancia.
Técnicamente, el ACP busca la proyección según la cual los datos queden mejor representados en términos de mínimos cuadrados. El ACP se emplea sobre todo en análisis exploratorio de datos y para construir modelos predictivos. El ACP comporta el cálculo de la descomposición en autovalores de la matriz de covarianza, normalmente tras centrar los datos en la media de cada atributo.
Fundamento
El ACP construye una transformación lineal que escoge un nuevo sistema de coordenadas para el conjunto original de datos en el cual la varianza de mayor tamaño del conjunto de datos es capturada en el primer eje (llamado el Primer Componente Principal), la segunda varianza más grande es el segundo eje, y así sucesivamente. Para construir esta transformación lineal debe construirse primero la matriz de covarianza o matriz de coeficientes de correlación. Debido a la simetría de esta matriz existe una base completa de vectores propios de la misma. La transformación que lleva de las antiguas coordenadas a las coordenadas de la nueva base es precisamente la transformación lineal necesaria para reducir la dimensionalidad de datos. Además las coordenadas en la nueva base dan la composición en factores subyacentes de los datos iniciales.
Una de las ventajas del ACP para reducir la dimensionalidad de un grupo de datos, es que retiene aquellas características del conjunto de datos que contribuyen más a su varianza, manteniendo un orden de bajo nivel de los componentes principales e ignorando los de alto nivel. El objetivo es que esos componentes de bajo orden a veces contienen el aspecto "más importante" de esa información.
Matemáticas del ACP
Supongamos que existe una muestra con n individuos para cada uno de los cuales se han medido m variables (aleatorias) <math>F_j.\;</math> El ACP permite encontrar un número de factores subyacentes p < m que explican aproximadamente el valor de las m variables para cada individuo. El hecho de que existan estos p factores subyacentes puede interpretarse como una reducción de la dimensionalidad de los datos: donde antes necesitabamos m valores para caracterizar a cada individuo ahora nos bastan p valores. Cada uno de los p encontrados se llama componente principal, de ahí el nombre del método.
Existen dos formas básicas de aplicar el ACP:
- Método basado en la matriz de correlación, cuando los datos no son dimensionalmente homogéneos o el orden de magnitud de las variables aleatorias medidas no es el mismo.
- Método basado en la matriz de covarianzas, que se usa cuando los datos son dimensionalmente homogéneos y presentan valores medios similares.
Método basado en correlaciones
El método parte de la matriz de correlaciones, consideremos el valor de cada una de las m variables aleatorias <math>F_j\,</math>. Para cada uno de los n individuos tomemos el valor de estas variables y escribamos el conjunto de datos en forma de matriz:
- <math>(F_j^\beta)_{j=1,...,m}^{\beta=1,...,n}</math>.
Obsérvese que cada conjunto
- <math>\mathcal{M}_j = \{F_j^\beta| \beta=1,...,n\}</math>
puede considerarse una muestra aleatoria para la variable <math>F_j\,</math>. A partir de los <math>m \times n</math> datos correspondientes a las m variables aleatorias, puede construirse la matriz de correlación muestral, que viene definida por: Plantilla:Ecuación</math> ||left}} Puesto que la matriz de correlaciones es simétrica entonces resulta diagonalizable y sus valores propios <math>\lambda_i\,</math> verifican: Plantilla:Ecuación Debido a la propiedad anterior estos m valores propios reciben el nombre de pesos de cada uno de los m componentes principales. Los factores principales identificados matemáticamente se representan por la base de vectores propios de la matriz <math>\mathbf{R}</math>. Está claro que cada una de las variables puede ser expresada como combinación lineal de los vectores propios o componentes principales.
Método basado en las covarianzas
El objetivo es transformar un conjunto dado de datos X de dimensión n x m a otro conjunto de datos Y de menor dimensión n x l con la menor perdida de información útil posible utilizando para ello la matriz de covarianza.
Se parte de un conjunto n de muestras cada una de las cuales tiene m variables que las describen y el objetivo es que, cada una de esas muestras, se describa con solo I variables, donde l < m. Además, el número de componentes principales l tiene que ser inferior a la menor de las dimensiones de X. Plantilla:Ecuación Los datos para el análisis tienen que estar centrados a media 0 (restándoles la media de cada columna) y/o autoescalados(centrados a media 0 y dividiendo cada columna por su desviación estándar). Plantilla:Ecuación Los vectores <math>\scriptstyle \mathbf{t}_a</math> son conocidos como scores y contienen la información de cómo las muestras están relacionadas unas con otras además, tienen la propiedad de ser ortogonales. Los vectores <math>\scriptstyle \mathbf{p}_a</math> se llaman loadings e informan de la relación existente entre las variables y tienen la cualidad de ser ortonormales. Al coger menos componentes principales que variables y debido al error de ajuste del modelo con los datos, se produce un error que se acumula en la matriz <math>\scriptstyle \mathbf{E}</math>.
El PCA se basa en la descomposición en vectores propios de la matriz de covarianza. La cual se calcula con la siguiente ecuación: Plantilla:Ecuación Donde <math>\scriptstyle \lambda_a</math> es el valor propio asociado al vector propio <math>\scriptstyle \mathbf{p}_a</math>. Por último, Plantilla:Ecuación Esta ecuación la podemos entender como que <math>\scriptstyle \mathbf{t}_a</math> son las proyecciones de X en <math>\scriptstyle \mathbf{p}_a</math>, donde los valores propios <math>\scriptstyle \lambda_a</math> miden la cantidad de varianza capturada, es decir, la información que representan cada uno de los componentes principales. La cantidad de información que captura cada componente principal va disminuyendo según su número es decir, el componente principal número uno representa más información que el dos y así sucesivamente.
Limitaciones
La aplicación del ACP está limitada por varios supuestos<ref>Jonathon Shlens.A Tutorial on Principal Component Analysis.</ref>
- Asunción de linealidad: Se asume que los datos observados son combinación lineal de una cierta base.
- Importancia estadística de la media y la covarianza: el ACP utiliza los vectores propios de la matriz de covarianzas y sólo encuentra las direcciones de ejes en el espacio de variables considerando que los datos se distribuyen de manera gaussiana.
Ejemplos
- Una análisis consideró las calificaciones escolares n = 15 estudiantes en m = materias (lengua, matemáticas, física, inglés, filosofía, historia, química, gimnasia). Los dos primeros componentes principales explicaban juntos el 82,1% de la varianza. El primer de ellos parecía fuertemente correlacionado con las materias de humanidades (lengua, inglés, filosofía, historia) mientras que el segundo aparecía relacionado con las materias de ciencias (matemáticas, física, química). Así parece que existe un conjunto de habilidades cognitivas relacionadas con las humanidades y un segundo relacionado con las ciencias, estos dos conjuntos de habilidades son estadísticamente independientes por lo que un alumno puede puntuar alto en sólo uno de ellos, en los dos o en ninguno.<ref>Ejemplos de PCA (www.uoc.edu)</ref>
- Un análisis de metodología docente, consideró las calificaciones de n = 54 estudiantes de la facultad de Biología de la ULA y m = 8 tipos de habilidades. El primer factor principal que explicaba las calificaciones era la inteligencia del estudiante y en segundo lugar la metodología de aprendizaje usada.<ref>Análisis de dos metodologías mediante ACP</ref>
- Una análisis de 11 indicadores socieconómicos de 96 países, reveló que los resultados podían explicarse en alto grado a partir de sólo dos componentes principales, el primero de ellos tenía que ver con el nivel de PIB total del país y el segundo con el índice de ruralidad.<ref>Universidad Carlos III de Madrid</ref>