31 Pages
Unlock Document

University of California - Berkeley
Cognitive Science
Terry Regier

Lecture: Intro Classic Questions 1. Where does knowledge come from? 2. What is the nature of thought? 3. Are there uniquely human aspects of cognition? Lecture 1 Innate • Rationalist: Knowledge comes partly from reason, some aspects of which may be innate o Plato o Leibniz o Boole, Frege o Turing o Chomsky • Empiricist: Neither principles nor ideas are innate. Knowledge comes from experience. o Aristotle o Locke o Skinner • Plato (Rationalist) teacher of Aristotle (Empiricist) • Aristotle (Empiricist) o Blank Slate/ Tabula Rasa • Plato (rationalist) o Innate knowledge o We know things we could not have learned. SO the soul must have “understood them for  all time.” (Meno­Play we read for hw with the squares) o Like the stingray we have made him numb o  Learning is remembering  o Plato’s Problem: Poverty of stimulus= limited experience  How comes it that human beings whose contacts with the world are brief and  personal and limited, are able to know as much as they know?  Solution: • The only way we could know is if we knew it already • We don’t learn about the world… we remember facts from before our  birth • Objects in our world are mere shadows of their ideal forms, but similar  enough to remind us of those ideal forms, but similar enough to remind  us of those ideal forms • Locke (Empiricist) o Says NO to innate knowledge o “Neither principles nor ideas are innate.” o Blank Slate similar to Aristotle­ same idea, updated technology o Two sorts of experience  Sensation  Reflection (the operations of our mind) o Children acquire their knowledge gradually by degrees • Leibniz (Rationalist) o Locke is just wrong o Experience is necessary but not sufficient to account for our knowledge o Triangle angles = 180 degrees example o “Our minds must contain seeds of eternity, flashes of light hidden inside us, that reveal  something divine and eternal and allow us to go beyond the merely empiricial” o Humans v. Beasts  Beasts are solely empirical o Block of marble with veins •  Induction  o Acquiring knowledge from instances is a problem of induction o  Generalizing beyond the data given  o Guided by biases (veins in the marble)? o Conclusions could always be wrong o Cylinder on checkerboard example •  Deduction   o Goes from known truths to derive new truths o Conclusions are absolutely certain • Lecture Summary o Where does knowledge come from?  Aristotle: “the blank slate”  Plato: learning as remembering  Locke: building knowledge from experience  Leibniz: veins in the marble o Two strong positions with different answers  Rationalism/nativism (innate ideas)  Empiricism (experience) o The big questions is what can be learned  a questions for modern cog sci Lecture 2 – Logic • Modern Cog Sci takes a scientific approach o Develop theories that aim to predict and explain phenomena o Use experimental methods to gather new info and to test theories • Induction o Argument from particular experiences to universal truths – not certain • Deduction o Argument from known truths to other truths – absolutely certain •  Syllogisms  o Speech in which certain things have been supposed, something different from those  supposed results of necessity because of their being so o Premises + conclusion o All philosophers are people, all people are mortal thus all philosophers are mortal o  Artistotle’s project: catalogue the valid syllogisms   Systematically enumerated the syllogisms & identified which are valid  Assumed some were valid and reduced others to those by proofs o Universal All As are Bs or All As are not Bs o Particular Some As are Bs or Some As are not Bs • Leibniz (Rationalist) o Veins in the marble o Fundamentally optimisitic:  World is neither accidental nor undetermined  It has been planned by a benevolent God: we live in the best of possible worlds o  Wonderful Idea   Leibnize believed that people were largely benevolent and cooperative, but were  hampered in cooperation by language which is an imperfect mirror of intelligible  thoughts, and often makes reasoning obscure  What is needed is an ideal language that perfectly represents the relationships  between our thoughts o 3 points Leibniz is arguing  People are fundamentally well­meaning  Human discord results from imperfect communication through language  An ideal language would solve many human problems o Basically Leibniz wants something that “perfectly represents the relationships between  our thoughts” o To create this (UNIVERSAL CHARACTERISTIC) language , we must:  Create a compendium of all human knowledge  Describe that knowledge in terms of a set of key underlying notions and provide  a symbol for each such notion  Reduce rules of deduction to manipulations of these symbols  (AI ahead of its time!) o Think of the Universal characteristic as the difference between adding 50 +200 and the  roman numeral version of the same thing  Aids clarity of thought and the notation does much of its work • Boole (Propositional logic) o “all Plants are alive” o Can be represented in terms of classes or sets of objects  o Foundational rule of Boole’s system xx= x o X+Y is all things in either x or y (union) o X­Y is all things in x but not y (difference)  o o X=1 means x is true o X= 0 means x is false o XY=1 means x and y are true o X(1­Y)= 0 means if x is true, then y is true o Limitations  Boolean algebra is a basic component of computer programming and the  operation of circuits and silicon chips  But there are thoughts it cannot express cleanly – “everybody loves somebody” • Summary o A mathematical theory of thought should predict and explain how we reason o Logic attempts to do this  Aristotle: cataloguing the syllogisms  Leibniz: the vision  Boole: an algebra of thought o Modern logic can express more complex thoughts  Lecture 3­ More Logic • Truth Tables o Truth of a formula depends on the truth of its parts o An assignment of truth values to propositions (a possible world) that results in a formula  being true is a model of that formula • Limitations of Boole’s Logic: Multiple generality (every v. some) – An affirmation that is both  universal and particular • Frege o Begriffsschrift ­> Concept Script   A formal language that aims to capture the relationships between our thoughts o Modern logic o First­order predicate logic (instead of propositions use predicates to denote properties of  objects)  P(a) like Hairy (Rex) – rex= name of dog o Two new symbols:  Universal Quantifier: Upside down A (for all)   Existential Quantifier: Backwards E (for some, there exists)  Quantifiers: concern variables • All objects or at least one object o  Fixes the problem of Multiple generality (“Everybody loves somebody”)  o CAN’T say “For every property P, there is some object that possesses that property” (that  is second­order logic) • Inference Rule  o X  ▯Y o X o ____ o Y o Modus Ponens (always works no matter what X and Y mean  Syntax: draw a conclusion based just on having formulas of the right kinds (x  ▯Y,   X)  Semantics: conclusion is guaranteed to be true in the possible worlds described  by those formulas • Syntax and Semantics o Syntax: how things are written o Semantics: what things mean o In logic:  Syntax – properties of formulas  Semantics – the statements that those formulas make about possible worlds • Other Inference rules o X ^ Y o ____ o X o Y o   o X o _____ o X (or) Y o   o X  ▯Y o Not Y o _____ o Not X o Modus Tollens • Power of logic o Take a world and describe it with formulas o Using purely syntactic operations on those formulas, you can discover new things that are  true about that world o The satisfaction of Leibniz’s dream: an algebra that yields valid inferences • 2 Sobering notes o Russell’s letter to Frege  Call set S extraordinary if it contains itself; otherwise call it ordinary  O – being the set of all ordinary sets­ ordinary or extraordinary?! • THE BIG FLAW o Leibniz wanted a language that was simple and efficient for calculation but Frege’s logic  made deductions very complicated and time­consuming Lecture 4 • Guest Lecture Summary o Levels of explanation ex. For schizophrenia. Why can’t you tickle yourself? o Chinese room: is computation enough? o Consciousness – a challenge! o Eliminativism – doing away with the mental altogether o Recurring theme: critiques and limitations of cognitive science • Why Infinity o Relevant  A rationalist challenge to the empiricist view that all things come from  experience  Our experience = finite, yet we can conceive of the infinite  God = infinite and all­powerful o Pleasant  Infinity is connected to large, important, positive concepts (like God)  Rules break down in interesting ways when it comes to infinity  Countably infinite and the idea of more than 1 size to infinity (Cantor) o Useful  Diagonal method • Used by Cantor to show that there is more than 1 size to infinity o Can always create a package unlike all others • Used by Turing to explore the attainability of Leibniz’s dream o Countably infinite  Set of all natural numbers N = {1, 2, 3, 4…} all countably infinite o Uncountably infinite  Consider all possible subsets of N: S= {{1,5},{1,2,3,4,5}, {45,66,1023}…}  There are an uncountably infinite number of subsets S of N  Diagonal method can prove that • Frege o Modern Logic – An approach to Leibniz’s dream o Incomplete: we have no procedure for determining whether or not a conclusion follows  from premises • Hilbert’s decision problem: Entscheidungsproblem o Want a procedure that accepts premises P and a conclusion C and determines whether C  follows from P  This would fulfill Leibniz’s dream • Turing o Shows that Leibniz’s dream could not be achieved by using the diagonal method to show  that no such procedure exists o Turing machine: a formal model of computation o Universal Turing machine: a model of general­purpose computation (like computers) o How a Turing machine works  An internal state, one of a finite number of possible states Q  An infinite tape, on which symbols can be read and written  A finite set of rules that specify what M should do as a function of what it sees on  the tape • Summary o Infinity as a rationalist challenge: a concept beyond our experience o There is more than one size of infinity o The diagonal method illuminates both infinity and Leibniz’s dream o The Turing machine is a formal model of computation, which remains central to cog sci  and comp sci Lecture­ Thought, Computation and the world • The Halting Problem o Given a Turing Machine M, with input data d, will M ever halt, or will it loop endlessly? o Cannot be decided computationally • Turing’s demo for the halting problem o Every TM can be specified as a number  Any TM is discrete & finite (besides the input tape) o TM’s take numbers as input  Some input numbers cause the TM to halt, others will cause it to loop • Halting set of a TM = the set of input numbers that cause it to halt rather than loop • Mid­Lecture Summary o Turing showed that there are problems that no machine can solve o Lebniz’s dream cannot be fully realized o Turing also proposed a formal model of computation, TM o This model of computation remains central to cogsci and cs  • Symbols o Our propositions are symbols of the things in the world, they correspond to (abstract  objects that stand in for real ones • The symbol grounding problem o We need to know when the facts about the world corresponding to our symbols are true • A view of the mind o Our sense provide us with information about facts of the world • Rene Descartes o Philosophy: cosmology, skepticism and dualism o  Skepticism   I can doubt the existence of my body (evidence is from the senses)  I cannot doubt the existence of my mind • By thinking, I establish its existence • Bedrock: I am a thing that thinks • Inverts the standard empiricist privileging of experience  Thus, the mind and body are made of different kinds of stuff o  Dualism   The idea that the mind and body are different kinds of entities • Mind/matter cannot be reduced to one another • No explanation of minds in physical terms  Contrast with monism: the belief that mind and matter are one thing • Or materialism: the belief that mind can be reduced to matter o Two views  You’re a dualist if • You believe that mental states cannot be reduced to neural states • You think that the physical science cannot explain the operation of the  mind  You’re a materialist if: • You think we can explain human minds using sciences like physics and  biology • You think that any kind of mind can be explained in physical terms • Summary o Leibniz’s dream cannot be fully realized o The TM remains the standard formal model of computation o A major proposal in cognitive science is that thinking is computation o But computational symbols must be grounded in the world o This is inductive and uncertain – and if you’re a dualist, it involves a philosophically  tricky bridge between mind and body Lecture – Behavior and the mind • Why did the people who developed the scientific method not apply it to the mind? o Boole’s excuse: The general truth is seen in the particular instance, and it is not  confirmed by the repetition of instances o Focused on deduction not induction o Boole: The mind is special… thinking about thinking is enough to infer general laws • Wundt o  Father of experimental psychology (Thing WEP)   o Studying reaction time: pendulum swings and the machine clicks people report pendulum  position at the click  Pendulum is perceived late  More so when focused on the visual rather than auditory o Conclusion of the pendulum: Apperception  The process of making an experience clear in the consciousness – takes time and  effort   Introspection : inferring an unobserved mental process from observed behavior o Wundt relied on Introspection a lot (people’s reports) of their experience • Ebbinghaus o Did NOT use introspection o Forgetting curve o Spacing effect • Mid lecture summary o It was once thought that the mind was methodologically special, and could be  understood without the scientific method o  Wundt  introduced experimental psychology but relied on subjective introspection o  Ebbinghaus  sought to avoid introspection, and recorded objective measures  •  Watson and Behaviorism  o Focused on the analysis of behavior rather than mental states o Role of environment in explaining behavior o No substantial difference between humans and animals o Purely objective – no more introspection o EMPIRICIST o Little Albert  Does conditioning work with people? Yes  Classical conditioning: pairing a white rat with a loud noise •  Pavlov  o Classical Conditioning  Learning that one cue (conditioned stimulus) is associated with another that  naturally elicits a reaction (unconditioned stimulus) – dog drooling  •  Thorndike   o Learning that performing an action results in a reward (reinforcement) or punishment o Cats in puzzle boxes escaped •  BF Skinner (Radical Behaviorist)  o Dispenses with talk about mental states altogether o Theories aim to explain behavior and do so in terms of the environment o Strict:   If our goal is to predict and control behavior, then all we need to do is to work  out how behavior is shaped by the environment – no need to elaborate theories  about minds!  If people are the same as animals, with the same learning mechanisms at work,  then we can do this by studying how animals learn o Skinner box Lecture – Cognitive Revolution •  Tolman  (UC Berkeley professor) o Challenged behaviorism o Did the 3 group rat experiment  Group 1: rewarded  Group 2: never rewarded  Group 3: unrewarded for first 10 days, then rewarded upon success • Learned more quickly than the other groups o  Cognitive maps    Cross­Maze  • Group 1: reward is always at the EAST whether you start at N or S o Learned faster • Group 2: Reward is always found after a right turn   Mental Representation  – central to cognitive science • Key feature that distinguishes it form behaviorism, which sought to  dispense with “the mental” altogether • Mid­lecture summary o Behaviorism “recognizes no dividing line between man and brute” simple conditioning  governs both o Little Albert experiment sought to test whether conditioning principles from non­humans  also apply to humans o But even non­human learning appears to involve mental representations: latent learning,  cognitive maps in rats o Mental representations are central to cognitive science •  Birth of Cognitive Science  o 1956 – the Symposium on Information Theory at MIT o Three famous papers were presented:  Newell & Simon “The Logic Theory Machine”  Miller “The Magical Number Seven”  Chomsky “Three Models of Language o  Newell and Simon   1  AI system  Found proofs of mathematical facts expressed in terms of inference rules  Used heuristics inspired by human problem solving strategies • Apply heuristics (rules of thumb) that are used by human mathematicians  (example: to prove P, work backwards from P) o  Miller and the Magic #7   7 plus or minus 2  People can hold about seven chunks of information in memory  Hierarchical structure: chunks within chunks (think about area codes and such)  Ideas of the mind • Not only are there mental representations but they have structure • Some thought is hierarchically structured • True across various mental domains (numbers, planning etc.) o  Chomsky “Three Models of Language”   Language is another domain that seems governed by hierarchically structured  mental representations  Not just a sequence of words  Noun phrase (“the ball”) can be thought of as a “chunk” of language List of Historical Researchers in Cog Sci • Aristotle: blank slate, catalogued all syllogisms, empiricist, principle of contradiction • Plato: rationalist, knowledge is remembering, poverty of stimulus, platonic form  ▯all knowledge  is a shadow of what it really is • Locke: sensation and reflection, empiricist • Leibniz: classical rationalist, people are good, alphabet of thought, veins in the marble, language  is vague • Leibniz • Boole: xx=x, xy=x,  ▯very algebraic • Frege: truth tables, all possible worlds • Russell: sent letter to Frege, set could be part of itself = extraordinary set  ▯paradox • Cantor: diagonal method, different sizes of infinity • Hilbert (decision problem): sobering note #1, Given any premise and conclusion, can you  determine whether the conclusion follows the premises? • Turing (halting problem): Turing used the halting problem to prove that no such procedure exists • Boole: general truth is seen only once, deduction more than induction • Wundt: father of experimental psych, aperception (delta),  • Ebbinghaus: measures memory retention, spacing effect (a list of items is better remembered  when studied at spaced intervals rather than all at once) • Watson: baby Albert, behaviorism, proved that humans can be classically condition • Skinner: behavior is dependent on previous knowledge, operant conditioning,  • Tolman: cognitive maps, latent learning, rats still tried to learn even though they got no reward • Newell/Simon: had a program that used human heuristics to solve logic problems • Miller: 7+/­2 things that you can remember • Lashley: hierarchy of plans ▯ our mental representations have structure • Symbol grounding problem: idea that symbolic forms can be linked to reality  ▯ o Symbol  ▯world connect thru • Dualism vs. materialism – Descartes:  o Dualism: mind and body are separate  ▯study the mind with armchairs o Materialism: mind and body can be reduced to matter (equal to one another)  ▯science can   be used to study the mind • Boole (studying mind): don’t have to turn to experience to study the mind, just need a particular  instance to see a general truth The Discipline Matures Lecture • Behaviorism o Environment  ▯Behavior • Cognitive science o Environment  ▯Representation (and processing)  ▯Behavior • Language is special o Uniquely human o Classic challenge to behaviorism (whitehead) o Symbolic system par excellence • Language o Defining feature of human cognition o We have seen proposals about how linguistic knowledge is represented but not  how it is processed o Language is understanding – necessarily at least partly symbolic • Eliza (mimicking understanding) o  Joseph Weizenbaum  o Original chatterbot: applied pattern matching rules to human’s statements, and  replied accordingly o No representation of meaning of the statements o Remarkably easy to talk to o Input is examined, keywords are matched and an appropriate response is output o Nothing near “understanding” o Symbolic but shallow • SHRDLU o Terry Winograd “All language use can be thought of as a way of activating  procedures within the hearer” o Natural language understanding in a micro­world o Language linked to action o This is the one with the blocks and pyramids and such o 3 interacting components  Syntactic analysis: Grammatical analysis of input sentences  Semantic analysis: Determine what the sentence means  Perception and inference: consult the “world” for answers to questions  posed  All implemented as procedures o Example for syntactic analysis: Sentence  ▯noun phrase + verb phrase • SHRDLU recap o Narrow, limited domain  In that domain it does a lot more than a chatterbot. o Links language “understanding”, symbolically represented with observable  action in the world o Language understanding as dependent on multiple interacting processes • Shepard & Metzler o Rotated figure o Findings: Time to confirm “same figure” is a linear function of angle of rotation  – whether in picture plane or in depth o Interpretation: people mentally rotate one figure onto the other. Imagistic mental  representations • Kosslyn o Airplane picture experiment o Scanning a mental image o Is there a pilot? Takes shorter than is there a front wheel b/c it is farther • How are we to think of Cognitive systems o David Marr  Model of vision: contributed to vision science  Levels of analysis: contribution to cognitive science generally   Marr Prize  given to the best student paper at the Cognitive Science  Society conference  Marr’s model of vision: Image, Primal sketch, 2.5 D sketch, 3D sketch –  Continuum from Imagistic to symbolic  Hierarchical structure in perception o Marr’s 3 levels  3 levels at which any machine carrying out an information­processing  task must be understood • Computational theory – goal or what the system is up to o Goal is to fly • Representation and algorithm o Curved wings, aerodynamics • Hardware implementation o Feathers, balsa wood, steel etc • Explanations at different levels o Afterimages can 
More Less

Related notes for COG SCI 190

Log In


Don't have an account?

Join OneClass

Access over 10 million pages of study
documents for 1.3 million courses.

Sign up

Join to view


By registering, I agree to the Terms and Privacy Policies
Already have an account?
Just a few more details

So we can recommend you notes for your school.

Reset Password

Please enter below the email address you registered with and we will send you a link to reset your password.

Add your courses

Get notes from the top students in your class.