Lecture Neural Networks.docx

4 Pages
119 Views
Unlock Document

Department
Cognitive Science
Course
COG SCI 190
Professor
Terry Regier
Semester
Fall

Description
Lecture Neural Networks • Neural networks offer a different view of computation in cognition: non­symbolic  representations, massively parallel processing, multiple soft constraints • Modeling a Neuron o The nervous system is a net of neurons, each having a soma and an axon.  Their  adjunctions, or synapses are always between the axon of one neuron and the soma of  another. At any instant a neuron has some threshold, which excitation must exceed to  initiate an impulse  McCulloch & Pitts  o Threshold­type stuff • Learning o A strength of neural networks is that they provide powerful yet simple tools for  learning o A neural network is defined by its weights o How should we set the weights based on information about inputs and outputs?  Two general methods • Unsupervised learning o There is no teacher. Agent tries to capture statistical  regularities in the environment • Supervised learning o There is a teacher. Agent makes predictions based on  input, and the teacher indicates which predictions are correct o An example of unsupervised learning  Hebb rule: When an axon of cell A is near enough to excite a cell B and  repeatedly or persistently takes part in firing it, some growth process or  metabolic change takes place in one or both cells such that A’s efficiency, a  one of the cells firing B is increased  Cells that fire together wire together o Supervised learning  For supervised learning, where you receive feedback on the accuracy of  your predictions we can use error­driven learning  Error is discrepancy between your output and teacher’s  recommendations. Change weights to reduce this error  Delta rule­ gradient descent • Gradient descent: simple algorithm for finding a min: move in a  direction where E decreases, stop if it does not exist • Like the heuristic search methods used by Newell and Simon this  is a “hill­climbing” algorithm (in this case, going downhill) • Guaranteed to find a local min in error but not necessarily a  global min • Gradient descent requires a gradient, or rate of change – which  exists only for smooth continuous functions o Hard thresholds are not continuous thus you create a  smooth approximation  Soft computing – no longer all or none  Intermediate responses, degrees of activation,  soft constraints, soft computing o Types of neural networks  Connectionism • Instead of complex processor, we have simple ones, 
More Less

Related notes for COG SCI 190

Log In


OR

Join OneClass

Access over 10 million pages of study
documents for 1.3 million courses.

Sign up

Join to view


OR

By registering, I agree to the Terms and Privacy Policies
Already have an account?
Just a few more details

So we can recommend you notes for your school.

Reset Password

Please enter below the email address you registered with and we will send you a link to reset your password.

Add your courses

Get notes from the top students in your class.


Submit