Class Notes (839,555)
Canada (511,390)
Psychology (5,220)
PSYCH 3CC3 (101)
Lecture

Lecture 31 (March 28).docx

6 Pages
52 Views

Department
Psychology
Course Code
PSYCH 3CC3
Professor
Richard B Day

This preview shows pages 1 and half of page 2. Sign up to view the full 6 pages of the document.
Description
Lecture 31 (Thursday, March 28, 2013)  Measures of Accuracy Test Says Disorder No Disorder Disorder Hits (H) Misses (M) No Disorder False Alarms (FA) Correct Rejections (R) ­ Most of the sorts of assessments we make in forensic psychology are binary/dichotomous  ­ There are people who have the disorder and those who don’t and then we have an assessment tool and  that also can meet two conditions ­ There are four bins into which the decisions can fall with respect to their prediction and it’s  relationship to the actual relationship ­ We can correctly identify someone with the condition (H), we can incorrectly identify someone who  doesn’t have the condition (FA), we can correctly say that someone doesn’t have a disorder (R), or we  can say a person doesn’t have a disorder when they really do (M) ­ There are several ways to combine these numbers to develop measures of accuracy 1. Positive predictive power ­ It says of all the people your test identified as having the condition, what proportion actual do? PPP = H/(H+FA) ­ What proportion of the hits are of the whole? ­ This is the important one that we pay attention to  2. Negative predictive power NPP = R/(R+M) ­ PPP and NPP starts with what the test says and looks to see which box those two sets of decisions fall  3. Sensitivity S = H/(H+M) 4. Specificity  Sp = R/(R+FA) ­ S and Sp start with people who do (S) and don’t (Sp) have the disorder and how well the test picks  them up 6. Overall accuracy Accuracy = R+H/(R+H+FA+M) 1 Lecture 31 (Thursday, March 28, 2013)  PPP: Sensitivity to Base Rate  ­ The lower the base rate, the less accurate PPP becomes Example  ▯Let’s assume we have a test that is 95% accurate ­ H = 95% ­ M = 5% ­ FA = 5% ­ R = 95% ­ Let’s also assume that there is population of 10 000 and 50% have a disorder so, 5000 have the  condition and 5 000 don’t  ­ According to the accuracy we will be able to make the following population predictions ­ H = 4 750 ­ M = 250 ­ FA = 250 ­ R = 4 750 ­ If we calculate the PPP in the usual way: PPP = 4 750/(4 750+250) PPP = 4 750/5 000 PPP = 95% ­ So our PPP is exactly the same as our overall accuracy  ­ The PPP of any test is always at its highest when the prevalence of the population is at 50%, when  you change it you see a big difference Example  ▯Let’s imagine the same test but with a prevalence of 5% PPP = 475/(475+475) PPP = 475/950 PPP = 50% Example  ▯Let’s imagine the same test but with a prevalence of 1% PPP = 95/(95+495) PPP = 95/(590) 2 Lecture 31 (Thursday, March 28, 2013)  PPP = 16% ­ The problem is that PPP is strongly shaped by the base rate or the prevalence rate ­ The other tests don’t get as affected by the base rate Example  ▯prostate cancer ­ Prevalence of prostate cancer  ▯10 cases in every 10 000 males  ­ Over a 10 year period you may have a hundred cases in 10 000 males  ­ The debate about prostate and breast exams is whether they are even useful  ­ It is a real big problem  ­ Those tests will 70­80% wrong because of the low prevalence rate ­ Makes it look less accurate than it is  ROC Measures of Accuracy ­ Instead of using PPP, we will use a different measure of the accuracy of a test, we will use a receiver  operating characteristic  ­ It is a very common approach to psychophysical detection methods (how well a person can detect the  presence or absence of a stimulus) ­ It is a plot of sensitivity over 1 minus specificity  ­ It represents how the test does (similar to PPP) ­ If you are hideously inaccurate, all of your results will be false alarms and none of them will be hits ­ If the test is 50% accurate, you have a 50% chance of being right  1. Sensitivity  S = H/(H+M) 2. Specificity Sp = R/(R+FA) ­ ROC = Sensitivity/(1­Specificity)  ­ ROC = (H/H+M)/(1­(R/(R+FA)) ­ ROC = H/FA *remember this ­ With the ROC curve, manipulate changes in noise, signal intensity or other variables to change the  curve ­ To compare curves, discuss the area under the curve (AUC) 3 Lecture 31 (Thursday, March 28, 2013)  ­ AUC is 0.5  ▯chance level performance ­ A good AUC is anything over 0.7 ­ Represents a strongly predictive test since 70% of entire graph is under the ROC curve AUC Measure of Accuracy ­ There are a group of prisoners who we give a test to determine whether they will engage in a violent  re­offense, the test identifies
More Less
Unlock Document

Only pages 1 and half of page 2 are available for preview. Some parts have been intentionally blurred.

Unlock Document
You're Reading a Preview

Unlock to view full version

Unlock Document

Log In


OR

Join OneClass

Access over 10 million pages of study
documents for 1.3 million courses.

Sign up

Join to view


OR

By registering, I agree to the Terms and Privacy Policies
Already have an account?
Just a few more details

So we can recommend you notes for your school.

Reset Password

Please enter below the email address you registered with and we will send you a link to reset your password.

Add your courses

Get notes from the top students in your class.


Submit