05 - Redes Neurais - Redes Neurais Recorrentes

SAVE OFFLINE

Redes Neurais Convolucionais e Recorrentes Pós Graduação em Data Science com ênfase em Machine Learning Prof. Robson Fernandes

1

Robson Fernandes Acadêmico Doutorando em Ciência da Computação e Matemática Computacional (Artificial intelligence) - USP Mestre em Matemática, Estatística e Computação Aplicadas (Data Science & Machine Learning) - USP Especialização em Reconhecimento de Padrões e Análise de Imagens - UNICAMP Pós-Graduado em Arquitetura de Software Distribuído - PUC-MG MBA em Engenharia de Software Orientada a Serviços – SOA – METROCAMP Certificado – JavaScript e HTML5 Developer – W3C INTERNACIONAL Autor do Livro Gestão da Tecnologia da Informação: Teoria e Prática Profissional Cientista de Dados – Finch Soluções Docente Pós-Graduação - MBA em Data Science com ênfase em Machine Learning - FIB Docente Pós-Graduação - MBA Data Science com ênfase em Machine Learning - UNIP Docente Pós-Graduação em Engenharia de Software - USC Docente Graduação em Ciência da Computação - UNIP

2

Agenda ○

Introdução ■ Redes Neurais Artificiais ■ Perceptron ■ Perceptron Multicamadas ■ Gradiente Descendente

○

Funções de Ativação ■ Função Degrau ■ Função Sigmóide / Logística ■ Função Tangente Hiperbólica ■ Ativação Linear Retificada (ReLU) ■ Leaky ReLU ■ Softmax Redes Neurais Profundas ■ Redes Recorrentes ■ Redes Convolucionais

○

○

Aplicações em Classificação, Regressão, Séries Temporais e Imagens

3

Perceptron - Generalização para Multicamadas

4

Perceptron - Generalização para Multicamadas

•

Vários neurônios

•

várias camadas neurais

•

Modelo complexo

•

Resolve problemas não lineares

•

Cada neurônio tem uma saída independente

5

Perceptron - Generalização para Multicamadas •

O fluxo de informações inicia na camada de entrada e percorre toda a rede até chegar na camada de saída.

•

As saídas das camadas antecessoras são as entradas das camadas sucessoras

•

Diferentemente da Perceptron e Adaline, a Perceptron Multicamadas pode ter mais de um neurônio na camada de saída

6

Predição de Séries Temporais

• Problemas de regressão o domínio de definição da rede é igual ao de operação. • Problemas de predição de séries temporais, o domínio de definição é diferente do de operação, pois se tratam de dados futuros. • A predição da série temporal depende de valores passados.

7

Predição de Séries Temporais

•

Perceptron multicamadas com entradas atrasadas no tempo.

•

Função de custo será aplicada na diferença entre o valor previsto e a entrada no instante t.

8

Noções Básicas - Séries Temporais •

Série temporal: conjunto de observações ordenadas (no tempo).

•

Tempo pode ser: espaço, profundidade, …

•

Observações vizinhas são dependentes.

9

Séries Temporais - Definição Matemática Dado que, série temporal é o conjunto de observações {Y(t), t ∈ T} onde: Y : variável de interesse T : conjunto de índices

10

Séries Temporais - Tipos •

Séries temporais discretas: são séries em que o intervalo de observações (t) pertence a um conjunto discreto. Ou seja, as observações são feitas em intervalos de tempo fixos;

•

Séries temporais contínuas: são séries em que as observações são obtidas continuamente através de algum intervalo no tempo, por exemplo, quando T = [0, 1];

11

Séries Temporais - Aplicações •

Economia: preços diários de ações; taxa de desemprego.

•

Medicina: níveis eletrocardiograma eletroencefalograma.

•

Epidemiologia: casos semanais de sarampo.

•

Meteorologia: temperatura diária; registro de marés.

de ou

12

Séries Temporais - Estacionariedade ●

Uma série temporal é dita estacionária quando ela se desenvolve no tempo aleatoriamente ao redor de uma média constante, refletindo alguma forma de equilíbrio estável.

13

Séries Temporais - Não Estacionariedade ●

Na prática, a maioria das séries que encontramos apresentam algum tipo de não estacionariedade, por exemplo, tendência.

14

Séries Temporais - Componentes ●

Encontrar padrões de tendência (T) e sazonalidade (S) é de fato o que mais nos interessa, entretanto, o ruído (ε) presente em toda e qualquer série de dados brutos interfere na análise e deve ser removido através de técnicas de suavização (smoothing). A figura 1 mostra como as componentes de uma série temporal isoladas.

15

Séries Temporais - Picos e Degraus ●

Picos e degraus presentes na série de dados são informações valiosas, pois representam sinais de eventos externos ao sistema estudado (quando não são erros de medição é claro).

●

Eventos estocásticos como uma seca abrupta ou tornados podem gerar um pico em uma série trimestral (uma amplitude anormal nessa observação em particular).

16

Séries Temporais - Modelos de Decomposição ●

Modelos de Decomposição consistem em, como o próprio nome diz, decompor o modelo que descreve o comportamento da série temporal através de suas componentes: Valor da série temporal = padrão temporal + erro Valor da série temporal = f(Tend., Ciclo, Sazon., Ruído Aleat.) ou Yt = f (Tt, Ct, St, εt)

●

Onde: Yt é o valor da série temporal Tt é a componente Tendência no período t Ct é a componente Ciclo no período t St é a componente de Sazonalidade no período t εt é a componente de erro ou Ruído Aleatório no período t 17

Séries Temporais - Modelos de Aditivo O Modelo de Decomposição Aditivo considera que a série temporal é resultante da soma das componentes:

Y = T +C + S +ε t

t

t

t

t

18

Séries Temporais - Modelos de Multiplicativo O Modelo de Decomposição Multiplicativo considera que a série temporal é resultante do produto das componentes:

Y = T *C * S *ε t

t

t

t

t

19

Atividade - Redes Neurais - Séries Temporais Kaggle https://www.kaggle.com/shenba/time-series-datasets

Escolha 2 dos 4 datasets disponíveis. ● ● ● ●

Temperaturas mínimas diárias Produção Mensal de Cerveja Produção diária de Energia Elétrica Vendas de shampoo por um período de três anos

Faça uma análise, desenvolvimento da Rede Neural com entrada atrasada, e avaliação do modelo.

20

Redes Neurais Recorrentes Uma rede neural recorrente (RNN) é uma classe de redes neurais que inclui conexões ponderadas dentro de uma camada. Como as RNNs incluem loops, elas podem armazenar informações ao processar novas entradas. Essa memória os torna ideais para tarefas de processamento onde as entradas anteriores devem ser consideradas (como dados da série temporal).

21

Redes Neurais Recorrentes A saída da camada oculta é aplicada de volta para a camada oculta. A rede permanece feed-forward (as entradas são aplicadas na camada oculta e, em seguida, na camada de saída), mas o RNN mantém o estado interno através dos nodes de contexto (que influenciam a camada oculta nas entradas subsequentes).

22

Redes Neurais Recorrentes LSTM Redes de Memória de Curto Prazo Longo — geralmente chamadas apenas de “LSTMs” — são um tipo especial de RNN, capaz de aprender dependências de longo prazo. Eles foram introduzidos por Hochreiter & Schmidhuber (1997) e foram refinados e popularizados por muitas pessoas nos seguintes trabalhos. Eles funcionam tremendamente bem em uma grande variedade de problemas e agora são amplamente usados. Os LSTMs são explicitamente projetados para evitar o problema de dependência de longo prazo. Lembrar informações por longos períodos de tempo é praticamente o seu comportamento padrão, não é algo que eles lutam para aprender!

23

Redes Neurais Recorrentes LSTM

Todas as redes neurais recorrentes têm a forma de uma cadeia de módulos repetitivos da rede neural. Em RNNs padrão, este módulo de repetição terá uma estrutura muito simples, como uma única camada de camada. O módulo de repetição em um RNN padrão contém uma única camada.

24

Redes Neurais Recorrentes LSTM

Os LSTMs também possuem esta estrutura de cadeia, mas o módulo de repetição possui uma estrutura diferente. Em vez de ter uma única camada de rede neural, existem quatro, interagindo de uma maneira muito especial. O módulo de repetição em um LSTM contém quatro camadas de interação.

25

Redes Neurais Recorrentes LSTM No diagrama, cada linha carrega um vetor inteiro, desde a saída de um nó até as entradas de outros. Os círculos cor-de-rosa representam operações pontuais, como a adição de vetores, enquanto as caixas amarelas são camadas de redes neurais aprendidas. As linhas que se fundem denotam a concatenação, enquanto uma linha bifurcada denota que seu conteúdo está sendo copiado e as cópias vão para locais diferentes.

26

Redes Neurais Recorrentes LSTM

A chave para os LSTMs é o estado da célula, a linha horizontal que passa pela parte superior do diagrama. O estado da célula é como uma correia transportadora. Ele percorre toda a cadeia, com apenas algumas interações lineares menores. É muito fácil que as informações fluam sem alterações. O LSTM tem a capacidade de remover ou adicionar informações ao estado da célula, cuidadosamente reguladas por estruturas chamadas portas.

27

Redes Neurais Recorrentes LSTM

Os portões são uma forma de, opcionalmente, deixar passar as informações. Eles são compostos de uma camada de rede neural sigmóide e uma operação de multiplicação pontual. A camada sigmoide produz números entre zero e um, descrevendo quanto de cada componente deve ser liberado. Um valor de zero significa “não deixe nada passar”, enquanto um valor de um significa “deixe tudo passar!” Um LSTM possui três desses portões, para proteger e controlar o estado da célula.

28

Redes Neurais Recorrentes LSTM Em seguida, uma camada de tanh cria um vetor de novos valores candidatos, C~tC~t, isso poderia ser adicionado ao estado. Posteriormente atualiza o estado da célula antiga, Ct — 1Ct-1, no novo estado da célula CtCt.

29

Bibliografia ●

VAN GERVEN, Marcel; BOHTE, Sander (Ed.). Artificial neural networks as models of neural information processing. Frontiers Media SA, 2018.

●

Walczak, Steven. "Artificial neural networks." Advanced Methodologies and Technologies in Artificial Intelligence, Computer Simulation, and Human-Computer Interaction. IGI Global, 2019. 40-53.

●

HAJIAN, Alireza; STYLES, Peter. Artificial neural networks. In: Application of Soft Computing and Intelligent Methods in Geophysics. Springer, Cham, 2018. p. 3-69.

●

Miikkulainen, Risto, et al. "Evolving deep neural networks." Artificial Intelligence in the Age of Neural Networks and Brain Computing. Academic Press, 2019. 293-312.

30

Redes Neurais Convolucionais e Recorrentes Pós Graduação em Data Science com ênfase em Machine Learning Prof. Robson Fernandes

Obrigado! 31