2  Álgebra Matricial

Com os conceitos estatísticos fundamentais estabelecidos, voltamos nossa atenção para as ferramentas matemáticas necessárias para manipular objetos multivariados. Neste capítulo, revisaremos conceitos-chave, como formas quadráticas, matrizes positiva-definidas e a decomposição espectral, que são a base para muitos métodos multivariados que veremos.

Definição 2.1 Uma forma quadrática é uma função polinomial que contém apenas termos de grau dois. Dado um vetor aleatório \(\boldsymbol{x}\) de dimensão \(p \times 1\) e uma matriz numérica simétrica \(\boldsymbol{A}\) de dimensão \(p \times p\), o produto definido por:

\[ Q(\boldsymbol{x}) = \boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x}= \sum_{i=1}^p \sum_{j=1}^p a_{ij} x_i x_j \]

é uma forma quadrática.

Definição 2.2 Uma matriz simétrica \(\boldsymbol{A}\) é dita positiva-definida se \(\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x}> 0\) para todo vetor não nulo \(\boldsymbol{x}\).

Proposição 2.1 (Propriedades de Matrizes Positiva-Definidas) Se \(\boldsymbol{A}\) é positiva-definida, então:

  • todos os seus autovalores são estritamente positivos (\(\lambda_i > 0\));
  • \(\boldsymbol{A}\) é invertível;
  • \(\det(\boldsymbol{A}) > 0\).

Definição 2.3 Uma matriz simétrica \(\boldsymbol{A}\) é dita positiva-semidefinida se \(\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x}\geq 0\) para todos os vetores não-nulos \(\boldsymbol{x}\).

Definição 2.4 Uma matriz quadrada \(\boldsymbol{A}\) é dita idempotente se

\[ \boldsymbol{A}^2=\boldsymbol{A}. \]

Isso significa que aplicar duas vezes a transformação definida por \(\boldsymbol{A}\) produz o mesmo resultado que aplicá-la uma única vez. Quando \(\boldsymbol{A}\) também é simétrica, essa transformação é uma projeção ortogonal sobre o espaço gerado pelas colunas de \(\boldsymbol{A}\).

Matrizes de covariância (\(\boldsymbol{\Sigma}\)) e correlação (\(\boldsymbol{R}\)) são, por natureza, positiva-semidefinidas.

Teorema 2.1 (Decomposição Espectral) Toda matriz simétrica \(\boldsymbol{A}\) de dimensão \(p \times p\) pode ser escrita como:

\[ \boldsymbol{A} = \boldsymbol{E}\Lambda\boldsymbol{E}^T = \sum_{i=1}^p \lambda_i \boldsymbol{e}_i \boldsymbol{e}_i^T \]

onde \(\lambda_1, \dots, \lambda_p\) são os autovalores de \(\boldsymbol{A}\), \(\boldsymbol{e}_1, \dots, \boldsymbol{e}_p\) são os autovetores ortonormais correspondentes, \(\Lambda\) é a matriz diagonal formada pelos autovalores \(\lambda_i\), e \(\boldsymbol{E}\) é a matriz ortogonal (\(\boldsymbol{E}^T\boldsymbol{E} = \boldsymbol{E}\boldsymbol{E}^T = \boldsymbol{I}\)) cujas colunas são os autovetores \(\boldsymbol{e}_i\).

Essa decomposição tem uma interpretação geométrica importante. Cada autovetor \(\boldsymbol{e}_i\) define uma direção invariante da transformação linear associada a \(\boldsymbol{A}\), pois \(\boldsymbol{A}\boldsymbol{e}_i = \lambda_i\boldsymbol{e}_i\). O autovalor correspondente \(\lambda_i\) indica o fator pelo qual essa direção é escalada. Como os autovetores são ortonormais, eles formam um novo sistema de eixos no qual a matriz \(\boldsymbol{A}\) é representada pela matriz diagonal \(\Lambda\).

Para compreender essa mudança de coordenadas, considere um vetor \(\boldsymbol{x}\) escrito na base formada pelos autovetores:

\[ \boldsymbol{x}= y_1\boldsymbol{e}_1 + y_2\boldsymbol{e}_2 + \dots + y_p\boldsymbol{e}_p. \]

Os valores \(y_1,\dots,y_p\) são simplesmente as coordenadas de \(\boldsymbol{x}\) nesse novo sistema de eixos. Reunindo essas coordenadas no vetor \(\boldsymbol{y} = (y_1,\dots,y_p)^T\), podemos escrever a mesma relação de forma compacta como \(\boldsymbol{x}= \boldsymbol{E}\boldsymbol{y}\). Como \(\boldsymbol{E}\) é ortogonal, também temos \(\boldsymbol{y} = \boldsymbol{E}^T\boldsymbol{x}\).

Substituindo \(\boldsymbol{x}= \boldsymbol{E}\boldsymbol{y}\) na forma quadrática e usando \(\boldsymbol{A} = \boldsymbol{E}\Lambda\boldsymbol{E}^T\), obtemos:

\[ \begin{aligned} \boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} &= (\boldsymbol{E}\boldsymbol{y})^T(\boldsymbol{E}\Lambda\boldsymbol{E}^T)(\boldsymbol{E}\boldsymbol{y}) \\ &= \boldsymbol{y}^T\Lambda\boldsymbol{y} \\ &= \sum_{i=1}^p \lambda_i y_i^2. \end{aligned} \]

Assim, a mudança de \(\boldsymbol{x}\) para \(\boldsymbol{y}\) não altera o vetor representado: ela apenas troca o sistema de coordenadas. Nessa nova base, cada autovalor \(\lambda_i\) descreve a contribuição da direção \(\boldsymbol{e}_i\) para a forma quadrática. Quando \(\boldsymbol{A}\) é positiva-semidefinida, todos os autovalores são não negativos e podem ser ordenados como \(\lambda_1 \geq \lambda_2 \geq \dots \geq \lambda_p \geq 0\).

Veremos durante o livro o caso especial em que \(\boldsymbol{A}\) é uma matriz de covariância. Nesse contexto, os autovetores indicam direções de projeção não correlacionadas, e os autovalores representam as variâncias nessas direções.

Exemplo 2.1 Vamos decompor a seguinte matriz simétrica \(\boldsymbol{A}\):

\[ \boldsymbol{A} = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} \]

  1. Autovalores: Resolvendo a equação característica \(\det(\boldsymbol{A} - \lambda\boldsymbol{I}) = 0\), encontramos \(\lambda_1 = 3\) e \(\lambda_2 = 1\).

  2. Autovetores:

    • Para \(\lambda_1 = 3\): O autovetor correspondente é \(\boldsymbol{e}_1 = \begin{pmatrix} 1/\sqrt{2} \\ 1/\sqrt{2} \end{pmatrix}\).
    • Para \(\lambda_2 = 1\): O autovetor correspondente é \(\boldsymbol{e}_2 = \begin{pmatrix} 1/\sqrt{2} \\ -1/\sqrt{2} \end{pmatrix}\).

A decomposição é \(\boldsymbol{A} = \boldsymbol{E}\Lambda\boldsymbol{E}^T\), com: \[ \boldsymbol{E} = \begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ 1/\sqrt{2} & -1/\sqrt{2} \end{pmatrix}, \quad \Lambda = \begin{pmatrix} 3 & 0 \\ 0 & 1 \end{pmatrix} \]

Assim, \(\boldsymbol{A}\) multiplica por 3 a direção de \(\boldsymbol{e}_1\) e por 1 a direção de \(\boldsymbol{e}_2\).

Definição 2.5 (Decomposição em Valores Singulares) Toda matriz \(\boldsymbol{A}\) de dimensão \(I \times J\) pode ser escrita como:

\[ \boldsymbol{A} = \boldsymbol{U} \boldsymbol{\Lambda} \boldsymbol{V}^T \]

onde \(\boldsymbol{U}\) é uma matriz ortogonal \(I \times I\) cujas colunas são os vetores singulares à esquerda, \(\boldsymbol{V}\) é uma matriz ortogonal \(J \times J\) cujas colunas são os vetores singulares à direita, e \(\boldsymbol{\Lambda}\) é uma matriz retangular \(I \times J\) que contém os valores singulares \(\sigma_k\) em sua diagonal principal, ordenados de modo que \(\sigma_1 \geq \sigma_2 \geq \dots \geq 0\), e zeros nas demais posições. Os valores singulares são as raízes quadradas dos autovalores não-nulos de \(\boldsymbol{A}^T\boldsymbol{A}\) e \(\boldsymbol{A}\boldsymbol{A}^T\).

Enquanto a decomposição espectral se aplica a matrizes simétricas, a SVD é um resultado mais geral, possibilitando a decomposição de qualquer matriz. Por isso, ela é uma das fatorações mais importantes da álgebra linear, com aplicações em estatística e aprendizado de máquina, incluindo a Análise de Componentes Principais e a Análise de Correspondência.

Para uma matriz simétrica e positiva-semidefinida \(\boldsymbol{A}\), como uma matriz de covariância, a SVD e a decomposição espectral são essencialmente a mesma coisa. Seus valores singulares são seus autovalores, e seus vetores singulares à esquerda e à direita são seus autovetores (\(\boldsymbol{U} = \boldsymbol{V} = \boldsymbol{E}\)).

A grande utilidade da SVD vem do fato de que ela fornece a melhor aproximação de baixo posto de uma matriz. O Teorema de Eckart-Young mostra que, se truncarmos a decomposição para usar apenas os \(M\) maiores valores singulares, a matriz resultante \(\boldsymbol{A}_M\) é a melhor aproximação de posto \(M\) da matriz original \(\boldsymbol{A}\).

\[ \boldsymbol{A} \approx \boldsymbol{A}_M = \boldsymbol{U}_M \boldsymbol{\Lambda}_M \boldsymbol{V}_M^T = \sum_{k=1}^M \sigma_k \boldsymbol{u}_k \boldsymbol{v}_k^T \]

Isso fornece uma maneira ótima de capturar parte da estrutura de uma matriz usando um número menor de dimensões.