O modelo é treinado com dados rotulados, onde a resposta correta é fornecida para cada exemplo de entrada.
Imagens com 28\times 28 pixels.
Dados: \{x_i\}_{i=1}^N\subset \mathcal{X}, \{y_i\}_{i=1}^N\subset \mathcal{Y}.
\begin{aligned} X: \;&\Omega = \{1, \cdots, N\}\longrightarrow\mathcal{X} \\ \;\;i&\longmapsto x_i \end{aligned}
\begin{aligned} Y: \;&\Omega \longrightarrow\mathcal{Y} \\ \;\;i&\longmapsto y_i \end{aligned}
Funções modelo \rho_{\textbf{w}}: \mathcal{X}\to \mathcal{Y}, onde \textbf{w}\in\mathcal{W} e \mathcal{W} é o espaço de parâmetros.
Divergência estatística \ell:\mathbb{M}\times \mathbb{M}\to \mathbb{R} onde \mathbb{M} é uma variedade estatística e uma função custo c:\mathcal{W}\mapsto\mathbb{R}
O nosso objetivo então se torna: encontrar o parâmetro \textbf{w}^* que minimiza a função c(\textbf{w}).
A nossa hipótese ideal então se torna: \rho_{\textbf{w}^*}.
\begin{aligned} n_{\textbf{w}}: \;&\mathbb{R}^{d_0}\longrightarrow\mathbb{R}^{d_1} \\ \;\;x_i&\longmapsto n_\textbf{w}(x_i)=\sigma\circ g_\textbf{w}(x_i) = \sigma\left( W x_i + b\right) \end{aligned}
onde
\sigma:\mathbb{R}^{d_1} \to \mathbb{R}^{d_1}: função de ativação (ReLU, sigmóide, sign), que age componente a componente;
g_\textbf{w}(x) = Wx+b: transformação afim, com W\in\mathbb{R}^{d_1\times d_0} a matriz de pesos e b\in\mathbb{R}^{d_1} o vetor de bias;
\textbf{w}=(W,b) é um elemento do espaço de parâmetros \mathcal{W}.
As mais usadas são:
Seja n_j^{(p-1)} o j-ésimo neurônio da camada p-1. Então o i-ésimo neurônio da camada p é dado por n_i^{(p)}=\sigma^{(p)}\left(\sum_{j=1}^{d_{p-1}}w_{ij}^{(p-1)}\,n_j^{(p-1)}+b_i^{(p-1)}\right).
Rede neural em termos matriciais. Sejam P\in\mathbb{N}, d_0,d_1,\dots,d_{P+1}\in\mathbb{N} e \sigma^{(l)}:\mathbb{R}^{d_l}\to\mathbb{R}^{d_l} funções de ativação. Uma função \phi_\textbf{w}:\mathbb{R}^{d_0}\to\mathbb{R}^{d_{P+1}} é chamada de rede neural de profundidade P se existem matrizes W^{(l)}\in\mathbb{R}^{d_{l+1}\times d_{l}} e vetores b^{(l)}\in\mathbb{R}^{d_{l+1}}, l=0,1,\dots,P, tais que
e \phi_\textbf{w}(x)=N^{(P+1)}. Equivalentemente, \phi_\textbf{w}=\sigma^{P+1}\circ G^{(P+1)}\circ\sigma^{(P)}\circ G^{(P)}\circ\cdots\circ\sigma^{(1)}\circ G^{(1)},onde G^{(l)}(z)=W^{(l-1)}z+b^{(l-1)}.
Chamamos P de profundidade e \max_{l} d_l de largura; o vetor \textbf{w}=\big((W^{(0)},b^{(0)}),\dots,(W^{(P)},b^{(P)})\big) reúne todos os parâmetros.
Compondo os dois neurônios acima com um terceiro, também ReLU:
Teorema da Aproximação Universal!
(Convergência compacta) Seja d\in\mathbb{N}. Uma sequência de funções f_n:\mathbb{R}^d\to \mathbb{R}, n\in \mathbb{N}, converge compactamente para f:\mathbb{R}^d\to \mathbb{R} se, para cada compacto K\subseteq \mathbb{R}^d, vale \lim_{n\to \infty} \sup _{x\in K}|f_n(x) - f(x)| =0. Neste caso escrevemos f_n\overset{cc}{\to} f.
(Aproximador universal) Seja d\in\mathbb{N}. Um conjunto de funções \mathcal{H} de \mathbb{R}^d para \mathbb{R} é um aproximador universal (de C^{0}(\mathbb{R}^d)) se, para todo \varepsilon>0, cada compacto K\subseteq \mathbb{R}^d e cada f\in C^0(\mathbb{R}^d), existe g\in\mathcal{H} tal que \sup_{x\in K}|f(x)-g(x)|<\varepsilon.
Lema Seja d\in \mathbb{N} e \mathcal{H} um conjunto de funções de \mathbb{R}^d para \mathbb{R}. Então \mathcal{H} é um aproximador universal de C^0 se, e somente se, C^0 (\mathbb{R}^d) \subseteq \overline{\mathcal{H}}^{cc}
(Teorema de Stone-Weierstrass) Seja d\in \mathbb{N}, seja K\subseteq\mathbb{R}^d compacto e seja \mathcal{H}\subseteq C^0(K,\mathbb{R}) satisfazendo que - para todo x\in K existe f\in\mathcal{H} tal que f(x)\ne 0, - para todo x\ne y existe f\in \mathcal{H} tal que f(x)\ne f(y), - \mathcal{H} é uma álgebra de funções, i.e., \mathcal{H} é fechada para adição, multiplicação e multiplicação por escalares.
Portanto, \mathcal{H} é denso em C^0(K).
(Espaço das redes neurais) Sejam d,\,m,\,L,\,n\in\mathbb{N} e \sigma:\mathbb{R}\to\mathbb{R}. O conjunto de todas as funções realizadas por redes neurais com entrada de dimensão d, saída de dimensão m, profundidade no máximo L, largura no máximo n e ativação \sigma é denotado por \mathcal{N}_d^m(\sigma;L,n) := \big\{\phi:\mathbb{R}^d\to \mathbb{R}^m \;\big|\; \phi \text{ rede neural},\ \operatorname{prof.}(\phi)\le L,\ \operatorname{larg.}(\phi)\le n \big\}. Ainda, \mathcal{N}^m_d(\sigma; L) = \bigcup_{n\in \mathbb{N}}\mathcal{N}_d^m(\sigma;L,n).
Teorema (Aproximação Universal — Leshno–Lin–Pinkus–Schocken; Petersen–Zech, Thm. 3.9) Sejam d\in \mathbb{N} e \sigma \in \mathcal{M}. Então \mathcal{N}_d^1(\sigma; 1) é um aproximador universal de C^0(\mathbb{R}^d) se e somente se \sigma não é um polinômio.
(Conjunto admissível de ativações) \mathcal{M} é o conjunto das funções \sigma\in L^\infty_{\mathrm{loc}}(\mathbb{R}) para as quais existe M\in\mathbb{N} finito e intervalos I_1,\dots,I_M particionando \mathbb{R} com \sigma\in C^0(I_j) para todo j=1,\dots,M.
Ideia da prova. A estratégia se resume às três reduções abaixo:
Se C^0(\mathbb{R}^1)\subseteq \overline{\mathcal{N}^1_1(\sigma; 1)}^{cc} então C^0(\mathbb{R}^d)\subseteq \overline{\mathcal{N}_d^1(\sigma; 1)}^{cc}.
Se \sigma \in C^{\infty}(\mathbb{R}) não é um polinômio, então C^0(\mathbb{R}^1)\subseteq\overline{\mathcal{N}_1^1(\sigma; 1)}^{cc}.
Se \sigma \in \mathcal{M} não é um polinômio então existe \tilde\sigma\in C^{\infty}(\mathbb{R}) \cap \overline{\mathcal{N}_1^1(\sigma; 1)}^{cc} que não é polinomial.
Lema Assuma que \mathcal{H} é um aproximador universal de C^0(\mathbb{R}). Então, para cada d\in\mathbb{N} span \{x\to g(\textbf{w}\cdot x) \;|\; \textbf{w}\in \mathbb{R}^d, g\in \mathcal{H}\} é um aproximador universal de C^0(\mathbb{R}^d).
Lema Se \sigma \in C^\infty(\mathbb{R}) e \sigma não é polinomial, então \mathcal{N}^1_1(\sigma;1) é denso em C^0(\mathbb{R}).
Lema Seja \sigma\in\mathcal{M}. Então, para cada \varphi\in C_{c}^\infty(\mathbb{R}) vale que \sigma * \varphi \in \overline{\mathcal{N}_1^1(\sigma;1)}^{cc}.
Lema Se \sigma \in \mathcal{M} e \sigma * \varphi é um polinômio para todo \varphi \in C_{c}^{\infty}(\mathbb{R}), então \sigma é um polinômio.
Dadas as amostras \{(x_i,y_i)\}_{i=1}^{N}, procuramos \textbf{w}^* \in \operatorname*{arg\,min}_{\textbf{w} \in \mathcal{W}} \; \frac{1}{N}\sum_{i=1}^{N} \ell\big(y_i, \phi_\textbf{w}(x_i)\big) \;=\; \operatorname*{arg\,min}_{\textbf{w} \in \mathcal{W}} c(\textbf{w}), onde \ell(\cdot,\cdot) mede a divergência entre a predição e o valor esperado.
Para resolver \min_{\textbf{w}\in \mathcal{W}} c(\textbf{w}) seguimos a direção -\nabla c, iterando \textbf{w}_{k+1}=\textbf{w}_k - \alpha_k \nabla c(\textbf{w}_k), onde \alpha_k>0 é a taxa de aprendizado.
Seja f:\mathcal{W}\to \mathbb{R}, como descrever seu ponto de mínimo?
f:\mathcal{W}\to\mathbb{R} poderia, por exemplo, modelar o custo dos problemas vistos anteriormente.
Dados um ponto \textbf{w}_0\in \mathcal{W} e uma retração R em \mathcal{W}, o algoritmo do gradiente descendente Riemanniano itera \textbf{w}_{k+1}=R_{\textbf{w}_k}\big(-\alpha_k \operatorname{grad} f(\textbf{w}_k)\big), onde \operatorname{grad} f(\textbf{w}_k)\in T_{\textbf{w}_k}\mathcal{W} é o gradiente Riemanniano.
Uma retração em uma variedade \mathcal{W} é uma aplicação suave R:T\mathcal{W}\to\mathcal{W}, (\textbf{w},v)\mapsto R_\textbf{w}(v), tal que, para todo \textbf{w}\in\mathcal{W}:
Ou seja: R devolve um ponto da variedade e, em primeira ordem, se comporta como o passo linear que queríamos dar no espaço tangente. A exponencial Riemanniana é um exemplo.
Teorema (Convergência local). Seja \mathcal{W} uma variedade Riemanniana completa com uma retração R e seja f:\mathcal{W}\to \mathbb{R} suave. Seja w_*\in \mathcal{W} um ponto crítico de f, isto é, \operatorname{grad} f(w_*)=0. Suponha que todos os autovalores de \operatorname{Hess} f(w_*) sejam positivos, digamos 0 < \lambda_1\le \cdots \le \lambda_{\max}<L. Defina F:\mathcal{W}\to\mathcal{W} por F(w)=R_w\left(-\tfrac{1}{L} \operatorname{grad} f(w)\right). Então:
Em outras palavras: o gradiente descendente Riemanniano converge para o mínimo local w_* desde que o ponto inicial w_0 esteja em U.
Hipótese 1 (limitação inferior). f é limitada inferiormente: existe f_{\text{low}}\in \mathbb{R} com f_{\text{low}}\le f(\textbf{w}) para todo \textbf{w} \in \mathcal{W}.
Hipótese 2 (regularidade). Dado S\subseteq T\mathcal{W}, existe L>0 tal que, para todo v\in S_\textbf{w}, f\big(R_{\textbf{w}}(v)\big)\le f(\textbf{w})+\big\langle \operatorname{grad} f(\textbf{w}),\, v\big\rangle+\frac{L}{2}\|v\|^2.
É a versão Riemanniana da condição de gradiente L-Lipschitz: garante que o modelo linear em T_\textbf{w}\mathcal{W} não subestima demais a função ao longo da retração.
Condição de Armijo–Goldstein f(\textbf{w})-f\big(R_\textbf{w}(-\alpha \operatorname{grad} f(\textbf{w}))\big) \;\ge\; r\,\alpha \,\|\operatorname{grad} f(\textbf{w})\|^2 para alguma constante r\in (0,1).
Algoritmo de Backtracking line-search
Lema. Seja f suave na variedade Riemanniana \mathcal{W}. Fixe \textbf{w}\in \mathcal{W}, uma retração R_\textbf{w}, um passo inicial \bar{\alpha}>0 e constantes \tau, r \in (0,1). Suponha que a Hipótese 2 valha para f\circ R_\textbf{w}(s) com constante L, onde s=-\alpha\operatorname{grad} f(\textbf{w}), \alpha \in [0, \bar{\alpha}]. Então:
Proposição (criticalidade dos pontos de aderência). Seja f suave satisfazendo a Hipótese 1 em uma variedade Riemanniana \mathcal{W}. Fixe \tau, r\in(0,1) e S\subseteq T\mathcal{W} onde a Hipótese 2 vale com a retração R. Suponha:
Então \displaystyle\lim_{k\to\infty}\|\operatorname{grad} f(\textbf{w}_k)\|=0.
Ideia da demonstração. Como a taxa de aprendizado satisfaz a condição de Armijo–Goldstein, f(\textbf{w}_k) - f\big(R_{\textbf{w}_k}(-\alpha_k \operatorname{grad} f(\textbf{w}_k))\big) \;\ge\; r\,\alpha_k\, \|\operatorname{grad} f(\textbf{w}_k)\|^2.
Mas os passos são limitados inferiormente: \alpha_k\ \ge\ \min\left(\bar{\alpha},\, \frac{2\tau(1-r)}{L}\right)=:d\ >\ 0 .
Logo, com c:=r\,d>0, f(\textbf{w}_k) - f(\textbf{w}_{k+1}) \;\ge\; c\,\|\operatorname{grad} f(\textbf{w}_k)\|^2 , isto é, \{\textbf{w}_k\} é suficientemente decrescente.
Suficientemente decrescente. A cada iteração o algoritmo apresenta decaimento suficiente: existe c>0 tal que, para todo k, f(\textbf{w}_k)-f(\textbf{w}_{k+1})\ \ge\ c\,\|\operatorname{grad} f(\textbf{w}_k)\|^2.
Lema. Seja f suave satisfazendo a Hipótese 1 em uma variedade Riemanniana \mathcal{W} e seja w_0, w_1, w_2,\dots a sequência de iterados de um algoritmo suficientemente decrescente com constante c. Então \lim_{k\to \infty}\|\operatorname{grad} f(w_k)\| =0.
Ou seja: todos os pontos de acumulação são críticos.
Uma função modelo de segunda ordem seria m_\textbf{w}(s)= f(\textbf{w})+\big\langle\operatorname{grad} f(\textbf{w}),\,s\big\rangle +\tfrac{1}{2}\big\langle[\operatorname{Hess} f(\textbf{w})]s,\,s\big\rangle .
Algoritmo de Newton:
O método de Newton apresenta dois problemas:
Algoritmo do gradiente conjugado:
Algoritmo de regiões de confiança