Investigadores revelam que o caos controlado acelera a aprendizagem da IA
Uma investigação revelou que introduzir uma quantidade controlada de caos pode melhorar a aprendizagem de redes neuronais artificiais, sistemas computacionais essenciais para a inteligência artificial, inspirados em neurónios biológicos.
Os resultados do estudo do Instituto de Física Interdisciplinar e Sistemas Complexos (IFISC, CSIC-UIB), em Espanha, publicados na revista 'Physical Review Research', mostraram que as operações realizadas no início de um comportamento caótico, associado a erros ou instabilidade computacional, proporcionam um equilíbrio entre duas estratégias que melhoram o processamento de informação, quando o sistema combina o refinamento de soluções conhecidas com a exploração de novas possibilidades de entre o vasto número de configurações possíveis.
O treino de uma rede neural para realizar uma tarefa, como fazer previsões ou classificações, envolve o ajuste suave e gradual dos seus parâmetros internos.
Quando o seu desempenho atinge um nível satisfatório, dizemos que a rede aprendeu a tarefa.
Agora, um novo trabalho do IFISC mostra que introduzir uma quantidade controlada de caos neste processo pode acelerar a aprendizagem.
Este resultado é obtido quando a inteligência artificial realiza operações no início do comportamento caótico, permitindo-lhe refinar soluções conhecidas e, ao mesmo tempo, explorar novas possibilidades.
As redes neuronais artificiais aprendem normalmente utilizando algoritmos de otimização, como o gradiente descendente: um processo matemático utilizado pela IA para calcular um erro e determinar a direção da aprendizagem (vetor ou gradiente) que irá minimizar esse erro.
O sistema repete a operação milhões de vezes, ajustando gradualmente os parâmetros do modelo, até que o erro seja mínimo e a rede neural se torne precisa.
A taxa de aprendizagem é medida pelo tamanho do passo associado a estes ajustes: valores pequenos garantem um progresso cauteloso e estável em direção a uma solução, enquanto valores mais elevados levam a saltos mais ousados que correm o risco de ultrapassar o objetivo.
Este processo é geralmente estável e exploratório, refinando constantemente a solução atual, como um caminhante que segue um trilho bem marcado.
Mas, à medida que a taxa de aprendizagem aumenta, os investigadores do IFISC descobriram que a dinâmica do treino se torna sensível a pequenas diferenças nos pontos de partida, ou seja, na configuração inicial da rede antes de começar a aprender.
Esta característica é distintiva do caos: duas redes neuronais quase idênticas podem divergir drasticamente durante o processo de aprendizagem, como borboletas cujas asas a bater desencadeiam furacões a milhares de quilómetros de distância.
"Em vez de dificultar a aprendizagem, esta instabilidade caótica pode, na verdade, acelerá-la", explicou Lucas Lacasa, investigador do IFISC e coautor do estudo, referindo que "perto do limite onde a dinâmica caótica começa, o sistema encontra um ponto ideal que lhe permite aprender significativamente mais rápido".
Os investigadores rastrearam os caminhos que os parâmetros da rede percorrem durante o treino e mediram a sua sensibilidade aos pontos de partida.
Com taxas de aprendizagem baixas, tudo flui de forma suave e ordenada, enquanto com valores enormes, o caos total faz com que a aprendizagem entre em colapso.
Mas precisamente nesta zona intermédia, as redes aprendem representações precisas e o treino torna-se surpreendentemente mais rápido.