unb


LARA
Universidade de Brasília - UnB
Departamento de Engenharia Elétrica
Prof. Adolfo Bauchspiess

Control and Automation - Electrical Engineering

Lab. de Automação e Robótica
e-Mail: adolfobs AT ene unb br
About Lectures Research Papers
Monographs (Grad./M.Sc./Ph.D.)

Controle de Sistemas Dinâmicos
Inteligência Computacional Automação Predial IoT Introdução à Eng. Mecatrônica
Controle Dinâmico
Lab. Controle Dinâmico
Identificação de Sistemas Dinâmicos
Controle Digital


                                                               
ENE0154 - Inteligência Computacional - 2020.2- Turma Remota

Caros Alun@s!

O curso de Inteligência Computacional   ENE0154 - 2020.2, terá início no dia 2/2/21 de forma remota. Encerramento previsto: 20/5/21.

Vamos utilizar como plataformas de ensino remoto:

- Teams
IntelComp, para as aulas síncronas.
- Aprender3 IntelComp, para as Listas de Exercícios e os Testes de Avaliação.
- A presente página (
 http://www.ene.unb.br/adolfo/Lectures/ICIN.html) será utilizada como repositório auxiliar ao Temas.
Convites serão enviados para 
para o Aprender3 (e-mail cadastrado no SIGAA), e para o Teams (e-mail institucional .....@aluno.unb.br).
(Caso tenha alguma dificuldade em acessar as plataformas, entre em contato!)

Pré-Requisito: ADL ou CSD

Metodologia de Ensino remoto proposta:

- Dois encontros síncronos por semana, Terças 16:00-17:50.  (Tira-dúvidas, Resolução das Exercícios,  Projetos, etc).
    - Teams IntelComp/Aulas Síncronas/Arquivos.

- Atividades assíncronas
        - Exercícios Computacionais
.


Avaliação:

         
        - 4 exercícios computacionais, python
        - 4 avaliações individuais, com consulta, de 1:30 , no Aprender3
        - artigo em dupla, aplicando algum conteúdo da disciplina em área de interesse dos alunos (e.g., PIBIC, TCC, estágio).

        Média =  4 * (média dos 3 melhores Ex) + 3 * (média dos 3  melhores testes) + 3 * Artigo

Artigos: 11/5 e 13/5 (grupos de 2 alunos, 20 min por grupo)


Testes de Avaliação Individual, (Aprender3, 1:30, Tav(i):  


Exercícios

Exercício 1: 18/2 -> 9/3   
OCR   Ex1py

Exercício 2: 9/3 -> 23/3
ADALINE   Ex2py  Ex2m  

Exercício 3: 23/3 -> 20/4
Deep Learn

Exercício 4: 20/4 -> 4/5
Reinforcement-Learn.


   Demos   

Classificação Não-Linear
Demo1   Demo1py_m

       Classificação Diabetes   
Demo2py

            MLP x RBF          
Demo3m

  Camada Comptetitiva  
Demo4m

                 LVQ               
Demo5m

Adaptive Neuro Fuzzy
ANFIS   .slx

======================================================================================================
======================================================================================================

Apostila e Slides: Sistemas Inteligentes - Redes Neurais e Lógica Fuzzy.
(In English - Soft Computing: SC1_25 SC26_50 SC51_83 SC84_103 SC104_140 SC141_201 SC_NARMA-L2  SVM)
Provas anteriores: rP2ICIN115  rP1ICIN 115 rP1ICIN213 rP2ICIN213 rP1ICN212 rP2ICN212    rP1ICIN218 rP2ICIN218 


Links de Interesse

Machine_Learning-AB_ENE2019(80 slides)    Machine_Learning-AB_ENE2019red (51 slides)

LIVROS
Notas de Neural Networks -A comprehensive foundation - Simon Haykin
http://www.cis.hut.fi/Opinnot/T-61.261/luennot2003/
Numerical Recipes in C em PDF:
http://www.library.cornell.edu/nr/bookcpdf.html

MACHINE LEARNING Env.
https://software.intel.com/pt-br/ai/devcloud
https://colab.research.google.com/notebooks/welcome.ipynb#recent=true
KERAS:
The Python Deep Learning Library
TensorFlow
Anaconda

DEMOS
https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/r2/tutorials/quickstart/beginner.ipynb#scrollTo=0trJmd6DjqBZ
svm https://scikit-learn.org/stable/auto_examples/classification/plot_digits_classification.html
k-means PCA digits  https://www.naftaliharris.com/blog/visualizing-k-means-clustering/
http://stanford.edu/class/ee103/visualizations/kmeans/kmeans.html
https://github.com/crsmithdev/notebooks ml-logistic-regression

TUTORIAIS

- https://cs.uwaterloo.ca/~mli/Deep-Learning-2017-Lecture5CNN.ppt

- Introduction to Deep Learning with Keras, by Jonathon Hare, Univ. of Southampton, 2017

- Tutorial: Deep Reinforcement Learning, PDF by David Silver, Google DeepMind, 2016

- Deep Learning Tutorial - EE@IITM  PDF by Mitesh M. Khapra, IITM, Madras, 2017

- How Deep Neural Networks Work, Video by Brandon Rohrer, Facebook, 2017

- Efficient Processing of Deep Neural Networks: A Tutorial and Survey. Zse et al., csail.mit.edu, Proc. IEEE 2017
- Recurrent Neural Networks, Nazli I. Cinbis, vision.cs.hacettepe.edu.tr, siu2016-tutorial
- Tutorial on Deep Learning, Bálint Daróczy, www.wire.tu-bs.de, 2017
- Machine Learning - Logistic Regression, Jeff Howbert, courses.washington.edu, 2012





Plano de Ensino


Objetivo do Curso

A disciplina Inteligência Computacional tem como objetivo apresentar técnicas de projeto para a engenharia, Redes Neurais Artificiais, que se originaram de pesquisas na área de inteligência artificial. Aprendizado profundo e Aprendizado por reforço são os tópicos mais relevantes. A disciplina é acompanhada de exercícios em Python.

Motivação

Redes Neurais Artificiais:

Programas de computador podem emular a maneira como o cérebro resolve problemas: uma grande rede altamente interconectada de neurônios relativamente simples trabalhando em paralelo. Convencionou-se assim, chamar de Redes Neurais Artificiais toda estrutura de processamento paralelo que utiliza o conexionismo como paradigma. Talvez a característica mais importante das Redes Neurais Artificiais seja a sua capacidade de aprendizado, i.e., problemas complexos em engenharia podem ser resolvidos treinando-se a rede pela apresentação do padrão de comportamento desejado.
Vivemos atualmente, a assim chamada "3a onda" das RNAs.  1a onda, ~anos 1960 - perpectpron; 2a onda, ~anos 1990 - backpropagation; 3a onda, ~2010 - deep learning.

Lógica Fuzzy:

Seres humanos tomam decisões considerando não valores exatos, mas sim utilizando uma lógica que leva em conta um certo "grau de pertinência" das variáveis envolvidas no processo decisório. Não se liga, por exemplo, o ar condicionado em 27°C, às 957 h, e umidade relativa do ar em 77%, mas sim, quando está "quente", no "começo da manha" e quando o ar está "abafado". Estas variáveis lingüísticas podem ser melhor descritas e manipuladas num conjunto Fuzzy. A Lógica Fuzzy é assim, uma generalização da lógica clássica que permite incluir a imprecisão ("fuzziness") nos processos decisórios. Sistemas neuro-fuzzy combinam a representação especialista do conhecimento com apredizado neural.


Metodologia

Aulas expositivas acompanhadas de atividades computacionais. Exercícios individuais em Python ou MatLab e um trabalho de pesquisa, em dupla, (Artigo) visam fixar o conteúdo.

Ementa

            Introdução, Redes Neurais Artificiais, “Deep Learning”, Lógica Fuzzy, Computação Evolutiva, Aprendizado por Reforço, Experimentos Computacionais.

Programa

Introdução

Inteligência Computacional; Histórico; Problemas de Interesse: Classificação de Padrões, Regressão, Tomada de Decisão; Conceitos de Aprendizado.

Redes Neurais Artificiais

Modelos de neurônios artificiais; Arquitetura; Perceptron Multicamada; Redes de Funções Radiais de Base; Mapas Auto-Organizáveis.

“Deep Learning”

Treinamento em redes profundas: Entropia, “Dropout”, Unidades Softmax e LRU, Redes convolutivas.

Lógica Fuzzy

Conjuntos Fuzzy; Funções de Pertinência; Operações;  Inferência; Sistema Baseado em Regras Fuzzy; Controlador Fuzzy; Redes neuro-fuzzy.

Computação Evolutiva

Conceitos de Evolução e Genética; Algoritmos Genéticos; Definições; Operadores básicos (seleção, mutação, cross-over); Variantes.

Aprendizado por Reforço

Definições; Processos de Decisão de Markov; Programação dinâmica; Métodos Monte Carlo; SARSA; Q-Learning

 

Experimentos Computacionais

(adequar ao perfil da turma/docente)

Reconhecimento de padrões

Aproximação de funções

Aprendizado por reforço

Processamento/controle Neural

Modelagem Fuzzy

Controle Fuzzy e Neuro-Fuzzy

Aplicação “Deep Learning”

                      Outros temas atuais.


Relatórios:

Os relatórios e o artigo deve ser o mais objetivo possível, porém conter todas as observações relevantes feitas durante a realização do experimento. Visando padronizar a correção, o seguinte formato de relatório é sugerido: ModeloICIN. LatexIC.
Os relatórios devem ser enviados para adolfobs [at] ene.unb.br, identificando no "assunto" do e-mail e no nome do arquivo .zip anexado (relatório em pdf + códigos): IC_Exp<#Exp><nome_aluno>

A pontuação leva em conta os seguintes aspectos:
- todos os procedimentos foram seguidos (40%),
- os resultados são apresentados de forma e concisa e clara: gráficos, tabelas etc (30%),
- a intrepretação dos resultados é correta e reflete/abrange os objetivos do exercício (30%),
- pontualidade - o atraso será penalizado com 0,5 pontos por dia útil.

Bibliografia

  1. Haykin, S.: Neural Networks and Learning Machines, 3rd Ed., Prentice Hall, 2009
  2. Silva, I.N.; Spatti, D. H.; Flauzino, R. A.: Redes Neurais Artificiais, Artliber, 2010
  3. Sutton, R.S., Barto, A. G.: Reinforcement Learning: An Introduction, MIT Press, 2017
  4. Goodfelow, I., Bengio, Y., Courville, A. Deep Learning, MIT Press, 2016
  5. Kayacan, E. & Khanesar, M.A.: Fuzzy Neural Networks for Real Time Control Applications, Elsevier, 2015
  6. Bäck,T., Fogel, D., Michalewicz, Z.: Evolutionary Computation 1: Basic Algorithms and Operators, Institute of Physics Publishing, 2000

Referências Complementares


  • Oliveira Jr., H.A. (coord.), Caldeira, A.M. et al.: Inteligência Computacional aplicada à Administração, Economia e Engenharia em Matlab®, Thomson, 2008
  • Artero, A.O.: Inteligência Artificial - Teórica e Prática, Livraria da Física, 2008
  • Nascimento Jr. C.L.: Yoneyama, T.: Inteligência Artificial em Controle e Automação, Edgard Blücher, 2000
  • Shaw, I. S., Simões, M. G.: Controle e Modelagem Fuzzy, Edgard Blücher, São Paulo, 1999
  • Gupta, M.M.; Sinha, N. K.: Intelligent Control Systems - Theory and Applications, IEEE Press, 1996
  • MathWorks® - Neural Network/Fuzzy Locig Toolbox - User Manual


  • Plano de Ensiono - Inteligência Computacional ENE 0154 -2020/1






    as - Aula Síncrona, Tav – Teste de Avaliação, TD - Tira Dúvidas (síncrono), Exi - Apresentação do Exercício i, EExi - data de Entrega Exi




    Data # Atividade
    Conteúdo Programático
    Material Complementar
    18/8/2020 1 as Plano de ensino
    Introdução:
    - Conexionismo
    - Heurísicas
    - IA Simbólico
    - IA Subsimbólico
    IntelComp1.mp4
    IntelCompUnB.pdf p1-14

    Haykin Livro Cap 1 - Introdução
    Ivan Silva Cap 1 - Introdução

    20/8/2020 2 as
    TD
    Aprender:
    Emular cérebro humano
    - Fisionlogia
    - Psicologia
    Reconhecimento de Padrões x Paradoxos
    Rede de neurônios
    - Sinapses
    - Plasticidade
    IntelComp2.mp4
    IntelCompUnB.pdf p15-25

    Haykin Livro Cap1 - Learning Processes
    Ivan Silva Cap 2 - Arquiteturas de redes neurais artificiais e
    processos de treinamento

    25/8/2020 3 as
    Ex1
    Engenharia do Conhecimento
    - RNA, Fuzzy, AG, IA
    Conjectura de Gödel
    AG ex. Mastermind
    Aprox. Universais
    IntelComp3.mp4
    IntelComp4.mp4
    IntelCompUnB.pdf p26-32

    Ex1 - Reconhecimento OCR
    Ambiente Python/ML

    27/8/2020 4
    TD
    Tav1
    Fundamentos Biológicos
    Fluxo unidirecional da informação
    Neurotransmissores
    Integração espaço/temporal
    Modulção freq. de pulsos
    IntelCompUnB.pdf p33-49







    1/9/2020 5 as Aprendizado Supervisionado
    - aproximação de funções (interpolação)
    - classificação de padrões
    Neurônio de McCulloch
    Regra delta de Hebb
    IntelCompUnB.pdf p33-49, IntelComp5.mp4
    Ivan Nunes da Silva
    3 The Perceptron Network
    3.1 Introduction
    3.2 Operating Principle of the Perceptron
    3.3 Mathematical Analysis of the Perceptron
    3.4 Training Process of the Perceptron
    Haykin


    1 Rosenblatt’s Perceptron
    1.1 Introduction
    1.2. Perceptron
    1.6. The Batch Perceptron Algorithm
    3/9/2020 6 as O Perceptron de Rosenblatt

    Regra delta de Widrow-Hoff (LMS)
    Regra delta genearlizada
    Erro derivativo Quadrático
    Backpropagation - Werbos, 1974
    PDP MIT, Hinton, Williams, Rummelhart, 1986
    4 The ADALINE Network and Delta Rule
    4.1 Introduction
    4.2 Operating Principle of the ADALINE
    4.3 Training Process of the ADALINE
    4.4 Comparison Between the Training Processes of the Perceptron
    and the ADALINE
    3 The Least-Mean-Square Algorithm
    3.1 Introduction
    3.2 Filtering Structure of the LMS Algorithm
    3.5 The Least-Mean-Square Algorithm
    3.12 Virtues and Limitations of the LMS Algorithm
    8/9/2020 7 as O projeto de uma RNA:
    - Dados: # amostras, representatividade no domínio
    - Topologia: # camadas, # neurônios por camada, funções de ativação
    - Exploração x Explotação ( x Condições Iniciais)

    A busca pelo mínimo global
    O pragmático "bom" mínimo local
    Gradiente Descente
    Momento
    SGD - Gradiente Descendente Estocástico
    ADAM
    Jacobiano
    5 Multilayer Perceptron Networks
    5.1 Introduction
    5.2 Operating Principle of the Multilayer Perceptron
    5.3 Training Process of the Multilayer Perceptron
    5.3.1 Deriving the Backpropagation Algorithm
    5.3.2 Implementing the Backpropagation Algorithm
    5.3.3 Optimized Versions of the Backpropagation Algorithm
    5.4 Multilayer Perceptron Applications
    5.4.1 Problems of Pattern Classification
    5.4.2 Functional Approximation Problems (Curve Fitting)
    5.5 Aspects of Topological Specifications for MLP Networks
    5.5.1 Aspects of Cross-Validation Methods
    5.5.2 Aspects of the Training and Test Subsets
    5.5.3 Aspects of Overfitting and Underfitting Scenarios
    5.5.4 Aspects of Early Stopping
    5.5.5 Aspects of Convergence to Local Minima
    4 Multilayer Perceptrons
    4.1 Introduction
    4.2 Some Preliminaries
    4.3 Batch Learning and On-Line Learning
    4.4 The Back-Propagation Algorithm
    4.5 XOR Problem
    4.6 Heuristics for Making the Back-Propagation Algorithm Perform Better
    4.11 Generalization
    4.12 Approximations of Functions
    4.13 Cross-Validation
    4.15 Virtues and Limitations of Back-Propagation Learning
    10/9/2020 8 TD / Tav2








    15/9/2020 9 as
    EEx1 Ex2
    ADALINE as adpative FIR identification
    Hopfield Network
    Ex2 - ADALINE
    5.4.3 Problems Involving Time-Variant Systems
    15 Dynamically Driven Recurrent Networks
    15.2 Recurrent Network Architectures
    17/9/2020 10
    RBF
    6 Radial Basis Function Networks
    7. Recurrent Hopfield Networks
    7.1 Introduction
    7.2 Operating Principle
    7.4 Associative Memory
    7.5 Design Aspects
    5 Kernel Methods and Radial-Basis Function Networks
    5.4 Radial-Basis-Function Networks
    5.5 K-Means Clustering
    15 Dynamically Driven Recurrent Networks
    15.1 Introduction
    15.2 Recurrent Network Architectures
    22/9/2020 11 S.Univ.


    24/9/2020 12 S.Univ.


    29/9/2020 13 as
    Aprendizado não-supervisionado
    K-Means
    Camada Competitiva
    LVQ
    8.2 Competitive Learning Process
    9.2 Vector Quantization Process
    9.3 LVQ Networks
    (in) 9 Self-Organizing Maps
    9.2 Two basic Feature-Mapping Models
    9.7 Hierarchical Vector Quantization
    1/10/2020 14 TD / Tav3








    6/10/2020 15 as NCC_DL_Tutorial.pdf - Prof. Khapra, Madras/In

    8/10/2020 16 as intro_cnn.pdf - Prof. Moacir ICMC/USP

    13/10/2020 17 as
    EEx2 Ex3
    (não teve aula - motivo saúde)

    15/10/2020 18 TD / Tav4








    20/10/2020 19 as NCC_DL_Tutorial.pdf - Prof. Khapra, Madras/In

    22/10/2020 20 as Deep_Learning Tutorial, Prof. Daroczy

    27/10/2020 21 as SC_NARMA-L2.pdf

    29/10/2020 22 as CIFAR10 - Google COLAB







    3/11/2020 23 as
    EEx3 Ex4
    Google Colab

    5/11/2020 24 TD / Tav5


    10/11/2020 25 as Fuzzy - SC104_140

    12/11/2020 26 as Fuzzy - SC104_140 - ANFIS







    17/11/2020 27 as
    EE4 E5
    ANFIS -Reinforcement Learning

    19/11/2020 28 TD / Tav5 Fuzzy -ANFIS - Início Reinforcement Learning

    24/11/2020 29 as Detalhamento E5

    26/11/2020 30 as (não teve aula - motivo saúde)







    1/12/2020 31
    Reinforcement Learning

    3/12/2020 32 EEx5 Aplicações de RNAs e Sistemas Fuzzy – Conclusões

    4/12/2020
    Tav7 16:30-18:15 RL+Aplicações

    8/12/2020 33 Artigo 1)Pedro e Thomás, 2) Samuel, 3) Gustavo e Danilo, 4) Fábio

    10/12/2020 34 Artigo 5) Matheus e Cristóvão, 6) Guilherme e Rafael, 7) João Vitor e Yuji

    14/12/2020
    Artigo Entrega pdf até 23:59, sem tolerância por atraso.


    Last Updated: Brasília, 7Dez2020