![]() |
![]() |
|
Universidade de Brasília - UnB Departamento de Engenharia Elétrica |
Prof. Adolfo
Bauchspiess Control and Automation - Electrical Engineering |
Lab. de Automação e Robótica e-Mail: adolfobs AT ene unb br |
About | Lectures | Research | Papers |
Monographs (Grad./M.Sc./Ph.D.) |
O curso de Inteligência Computacional ENE0154 - 2020.2, terá início no dia 2/2/21 de forma remota. Encerramento previsto: 20/5/21.
Vamos utilizar como
plataformas de ensino remoto:
- Teams IntelComp, para as aulas síncronas.
- Aprender3 IntelComp,
para as Listas de Exercícios e os Testes de Avaliação.
- A presente página ( http://www.ene.unb.br/adolfo/Lectures/ICIN.html)
será utilizada como repositório auxiliar ao Temas.
Convites serão enviados para para o Aprender3 (e-mail
cadastrado no SIGAA), e para o Teams (e-mail
institucional .....@aluno.unb.br).
(Caso tenha alguma dificuldade em acessar as plataformas, entre em
contato!)
Pré-Requisito: ADL ou CSD
Metodologia de Ensino remoto proposta:
- Dois encontros síncronos por semana, Terças
16:00-17:50. (Tira-dúvidas, Resolução das Exercícios,
Projetos, etc).
- Teams IntelComp/Aulas Síncronas/Arquivos.
- Atividades assíncronas
- Exercícios Computacionais.
Artigos: 11/5 e 13/5 (grupos de 2 alunos, 20 min por grupo)
Testes de Avaliação Individual, (Aprender3, 1:30, Tav(i):
Exercícios |
Exercício 3: 23/3 -> 20/4 |
Exercício 4: 20/4 -> 4/5 |
|
Demos |
Classificação Não-Linear
|
Classificação Diabetes
|
MLP x RBF
|
Camada Comptetitiva |
LVQ
|
Adaptive Neuro Fuzzy |
======================================================================================================
Apostila e Slides: Sistemas Inteligentes - Redes Neurais e Lógica Fuzzy.
(In English - Soft Computing: SC1_25 SC26_50 SC51_83
SC84_103 SC104_140
SC141_201 SC_NARMA-L2
SVM)
Provas anteriores:
rP2ICIN115 rP1ICIN 115 rP1ICIN213 rP2ICIN213
rP1ICN212 rP2ICN212
rP1ICIN218
rP2ICIN218
Links de Interesse
LIVROS
Notas de Neural Networks -A
comprehensive foundation - Simon Haykin http://www.cis.hut.fi/Opinnot/T-61.261/luennot2003/
Numerical Recipes in C em PDF:
http://www.library.cornell.edu/nr/bookcpdf.html
MACHINE LEARNING Env.
https://software.intel.com/pt-br/ai/devcloud
https://colab.research.google.com/notebooks/welcome.ipynb#recent=true
KERAS: The Python Deep Learning Library
TensorFlow
Anaconda
Plano de Ensino
Objetivo do Curso
A disciplina Inteligência Computacional
tem como objetivo apresentar técnicas de projeto para a engenharia,
Redes Neurais Artificiais, que se originaram de pesquisas na área de
inteligência artificial. Aprendizado profundo e Aprendizado por
reforço são os tópicos mais relevantes. A disciplina é acompanhada de
exercícios em Python.
Motivação
Redes Neurais Artificiais:
Programas de computador podem emular a
maneira como o cérebro resolve problemas: uma grande rede altamente
interconectada de neurônios relativamente simples trabalhando em
paralelo. Convencionou-se assim, chamar de Redes Neurais Artificiais
toda estrutura de processamento paralelo que utiliza o conexionismo
como paradigma. Talvez a característica mais importante das Redes
Neurais Artificiais seja a sua capacidade de aprendizado, i.e.,
problemas complexos em engenharia podem ser resolvidos treinando-se a
rede pela apresentação do padrão de comportamento desejado.
Vivemos atualmente, a assim chamada "3a onda" das RNAs. 1a onda,
~anos 1960 - perpectpron; 2a onda, ~anos 1990 - backpropagation; 3a
onda, ~2010 - deep learning.
Lógica Fuzzy:
Seres humanos tomam decisões considerando
não valores exatos, mas sim utilizando uma lógica que leva em conta um certo "grau de pertinência" das variáveis
envolvidas no processo decisório. Não se liga, por exemplo, o ar
condicionado em 27°C, às 957 h, e umidade relativa do ar em
77%, mas sim, quando está "quente", no "começo da manha" e quando o ar
está "abafado". Estas variáveis lingüísticas podem ser melhor descritas e manipuladas num conjunto
Fuzzy. A Lógica Fuzzy
é assim, uma generalização da lógica clássica que permite incluir a
imprecisão ("fuzziness") nos processos
decisórios. Sistemas neuro-fuzzy combinam a representação especialista
do conhecimento com apredizado neural.
Metodologia
Aulas expositivas acompanhadas de atividades computacionais. Exercícios individuais em Python ou MatLab e um trabalho de pesquisa, em dupla, (Artigo) visam fixar o conteúdo.
Ementa
Introdução, Redes Neurais Artificiais, “Deep
Learning”, Lógica Fuzzy, Computação Evolutiva, Aprendizado por
Reforço, Experimentos Computacionais.
Programa
Introdução
Inteligência Computacional; Histórico; Problemas de
Interesse: Classificação de Padrões, Regressão, Tomada de Decisão;
Conceitos de Aprendizado.
Redes Neurais
Artificiais
Modelos de neurônios artificiais; Arquitetura; Perceptron
Multicamada; Redes de Funções Radiais de Base; Mapas
Auto-Organizáveis.
“Deep Learning”
Treinamento em redes profundas: Entropia, “Dropout”,
Unidades Softmax e LRU, Redes convolutivas.
Lógica Fuzzy
Conjuntos Fuzzy; Funções de Pertinência; Operações; Inferência; Sistema Baseado
em Regras Fuzzy; Controlador Fuzzy; Redes neuro-fuzzy.
Computação Evolutiva
Conceitos de Evolução e Genética; Algoritmos Genéticos;
Definições; Operadores básicos (seleção, mutação, cross-over);
Variantes.
Aprendizado por Reforço
Definições; Processos de Decisão de Markov; Programação
dinâmica; Métodos Monte Carlo; SARSA; Q-Learning
Experimentos
Computacionais
(adequar ao perfil da turma/docente)
Reconhecimento
de padrões
Aproximação
de funções
Aprendizado
por reforço
Processamento/controle
Neural
Modelagem
Fuzzy
Controle
Fuzzy e Neuro-Fuzzy
Aplicação
“Deep Learning”
Relatórios:
Os relatórios e o artigo deve ser o mais objetivo possível, porém
conter todas as observações relevantes feitas durante a realização do
experimento. Visando padronizar a correção, o seguinte formato de
relatório é sugerido: ModeloICIN.
LatexIC.
Os relatórios devem ser enviados para adolfobs [at] ene.unb.br,
identificando no "assunto" do e-mail e no nome do arquivo .zip anexado
(relatório em pdf + códigos): IC_Exp<#Exp><nome_aluno>
A pontuação leva em conta os seguintes aspectos:
- todos os procedimentos foram seguidos (40%),
- os resultados são apresentados de forma e concisa e clara: gráficos,
tabelas etc (30%),
- a intrepretação dos resultados é
correta e reflete/abrange os objetivos do exercício (30%),
- pontualidade - o atraso será penalizado com 0,5 pontos por dia útil.
Bibliografia
as - Aula Síncrona, Tav – Teste de Avaliação, TD - Tira Dúvidas (síncrono), Exi - Apresentação do Exercício i, EExi - data de Entrega Exi | |||||
Data | # | Atividade | Conteúdo Programático |
Material Complementar | |
18/8/2020 | 1 | as | Plano de ensino Introdução: - Conexionismo - Heurísicas - IA Simbólico - IA Subsimbólico |
IntelComp1.mp4 IntelCompUnB.pdf p1-14 Haykin Livro Cap 1 - Introdução Ivan Silva Cap 1 - Introdução |
|
20/8/2020 | 2 | as TD |
Aprender: Emular cérebro humano - Fisionlogia - Psicologia Reconhecimento de Padrões x Paradoxos Rede de neurônios - Sinapses - Plasticidade |
IntelComp2.mp4 IntelCompUnB.pdf p15-25 Haykin Livro Cap1 - Learning Processes Ivan Silva Cap 2 - Arquiteturas de redes neurais artificiais e processos de treinamento |
|
25/8/2020 | 3 | as Ex1 |
Engenharia do Conhecimento - RNA, Fuzzy, AG, IA Conjectura de Gödel AG ex. Mastermind Aprox. Universais |
IntelComp3.mp4 IntelComp4.mp4 IntelCompUnB.pdf p26-32 Ex1 - Reconhecimento OCR Ambiente Python/ML |
|
27/8/2020 | 4 | TD Tav1 |
Fundamentos Biológicos Fluxo unidirecional da informação Neurotransmissores Integração espaço/temporal Modulção freq. de pulsos |
IntelCompUnB.pdf p33-49 |
|
1/9/2020 | 5 | as | Aprendizado
Supervisionado - aproximação de funções (interpolação) - classificação de padrões Neurônio de McCulloch Regra delta de Hebb |
IntelCompUnB.pdf
p33-49, IntelComp5.mp4 Ivan Nunes da Silva 3 The Perceptron Network 3.1 Introduction 3.2 Operating Principle of the Perceptron 3.3 Mathematical Analysis of the Perceptron 3.4 Training Process of the Perceptron |
Haykin 1 Rosenblatt’s Perceptron 1.1 Introduction 1.2. Perceptron 1.6. The Batch Perceptron Algorithm |
3/9/2020 | 6 | as | O
Perceptron de Rosenblatt Regra delta de Widrow-Hoff (LMS) Regra delta genearlizada Erro derivativo Quadrático Backpropagation - Werbos, 1974 PDP MIT, Hinton, Williams, Rummelhart, 1986 |
4 The ADALINE Network and Delta Rule 4.1 Introduction 4.2 Operating Principle of the ADALINE 4.3 Training Process of the ADALINE 4.4 Comparison Between the Training Processes of the Perceptron and the ADALINE |
3 The Least-Mean-Square Algorithm 3.1 Introduction 3.2 Filtering Structure of the LMS Algorithm 3.5 The Least-Mean-Square Algorithm 3.12 Virtues and Limitations of the LMS Algorithm |
8/9/2020 | 7 | as | O projeto
de uma RNA: - Dados: # amostras, representatividade no domínio - Topologia: # camadas, # neurônios por camada, funções de ativação - Exploração x Explotação ( x Condições Iniciais) A busca pelo mínimo global O pragmático "bom" mínimo local Gradiente Descente Momento SGD - Gradiente Descendente Estocástico ADAM Jacobiano |
5 Multilayer Perceptron Networks 5.1 Introduction 5.2 Operating Principle of the Multilayer Perceptron 5.3 Training Process of the Multilayer Perceptron 5.3.1 Deriving the Backpropagation Algorithm 5.3.2 Implementing the Backpropagation Algorithm 5.3.3 Optimized Versions of the Backpropagation Algorithm 5.4 Multilayer Perceptron Applications 5.4.1 Problems of Pattern Classification 5.4.2 Functional Approximation Problems (Curve Fitting) 5.5 Aspects of Topological Specifications for MLP Networks 5.5.1 Aspects of Cross-Validation Methods 5.5.2 Aspects of the Training and Test Subsets 5.5.3 Aspects of Overfitting and Underfitting Scenarios 5.5.4 Aspects of Early Stopping 5.5.5 Aspects of Convergence to Local Minima |
4 Multilayer Perceptrons 4.1 Introduction 4.2 Some Preliminaries 4.3 Batch Learning and On-Line Learning 4.4 The Back-Propagation Algorithm 4.5 XOR Problem 4.6 Heuristics for Making the Back-Propagation Algorithm Perform Better 4.11 Generalization 4.12 Approximations of Functions 4.13 Cross-Validation 4.15 Virtues and Limitations of Back-Propagation Learning |
10/9/2020 | 8 | TD / Tav2 | |||
15/9/2020 | 9 | as EEx1 Ex2 |
ADALINE as adpative FIR identification Hopfield Network |
Ex2 - ADALINE 5.4.3 Problems Involving Time-Variant Systems |
15 Dynamically Driven Recurrent Networks 15.2 Recurrent Network Architectures |
17/9/2020 | 10 | RBF |
6 Radial Basis Function Networks 7. Recurrent Hopfield Networks 7.1 Introduction 7.2 Operating Principle 7.4 Associative Memory 7.5 Design Aspects |
5 Kernel
Methods and Radial-Basis Function Networks 5.4 Radial-Basis-Function Networks 5.5 K-Means Clustering 15 Dynamically Driven Recurrent Networks 15.1 Introduction 15.2 Recurrent Network Architectures |
|
22/9/2020 | 11 | S.Univ. | |||
24/9/2020 | 12 | S.Univ. | |||
29/9/2020 | 13 | as |
Aprendizado não-supervisionado K-Means Camada Competitiva LVQ |
8.2 Competitive Learning Process 9.2 Vector Quantization Process 9.3 LVQ Networks |
(in) 9
Self-Organizing Maps 9.2 Two basic Feature-Mapping Models 9.7 Hierarchical Vector Quantization |
1/10/2020 | 14 | TD / Tav3 | |||
6/10/2020 | 15 | as | NCC_DL_Tutorial.pdf - Prof. Khapra, Madras/In | ||
8/10/2020 | 16 | as | intro_cnn.pdf - Prof. Moacir ICMC/USP | ||
13/10/2020 | 17 | as EEx2 Ex3 |
(não teve aula - motivo saúde) | ||
15/10/2020 | 18 | TD / Tav4 | |||
20/10/2020 | 19 | as | NCC_DL_Tutorial.pdf - Prof. Khapra, Madras/In | ||
22/10/2020 | 20 | as | Deep_Learning Tutorial, Prof. Daroczy | ||
27/10/2020 | 21 | as | SC_NARMA-L2.pdf | ||
29/10/2020 | 22 | as | CIFAR10 - Google COLAB | ||
3/11/2020 | 23 | as EEx3 Ex4 |
Google Colab | ||
5/11/2020 | 24 | TD / Tav5 | |||
10/11/2020 | 25 | as | Fuzzy - SC104_140 | ||
12/11/2020 | 26 | as | Fuzzy - SC104_140 - ANFIS | ||
17/11/2020 | 27 | as EE4 E5 |
ANFIS -Reinforcement Learning | ||
19/11/2020 | 28 | TD / Tav5 | Fuzzy -ANFIS - Início Reinforcement Learning | ||
24/11/2020 | 29 | as | Detalhamento E5 | ||
26/11/2020 | 30 | as | (não teve aula - motivo saúde) | ||
1/12/2020 | 31 | Reinforcement Learning | |||
3/12/2020 | 32 | EEx5 | Aplicações de RNAs e Sistemas Fuzzy – Conclusões | ||
4/12/2020 | Tav7 | 16:30-18:15 RL+Aplicações | |||
8/12/2020 | 33 | Artigo | 1)Pedro e Thomás, 2) Samuel, 3) Gustavo e Danilo, 4) Fábio | ||
10/12/2020 | 34 | Artigo | 5) Matheus e Cristóvão, 6) Guilherme e Rafael, 7) João Vitor e Yuji | ||
14/12/2020 | Artigo | Entrega pdf até 23:59, sem tolerância por atraso. |