Lecture Data.docx

3 Pages
118 Views
Unlock Document

Department
Computer Science
Course
COMPSCI 10
Professor
Dan Garcia
Semester
Fall

Description
Lecture Data • 1kB – 1 paragraph of text • 1MB – 4 Mega pixel JPEG image • 1GB 1 hour of SD TV or 7 minutes of HDTV • 1TB 2,000 hours of audio (uncompressed), 17,000 hours of MP3s • 1PB enough data to store the DNA of the entire population of the US – thrice! • BIGDATA o Netflix is said to use 1 PB to store the videos for streaming o World of Warcraft is stored on 1.3PB to maintain the game o Internet Archive: About 10 PB o AT&T transfers about 30 PB of data through its networks each day o YouTube processes about 40 PB of videos a day  Multimedia data biggest data! • Challenges o Storage  No single hard disk/ memory unit can store all the data  Parallelizing hard disks/ Concurrency • Techniques that Help o Compression  Entropy compression reduces data volume by removing redundant  information • This compression is reversible but has mathematically proven  limits  Lossy compression reduces data volume by removing irrelevant info • Not fully reversible but only has perceptual limits • Compression needs an agreement on decompression = “format” • 2 main reasons for digital data o Can be copied without loss o Can be processed by a computer o Problems: Privacy, Security • 1 main reason for big data o Analyzing data at Internet­scale helps understand the world on never before seen  scale o Useful for empirical sciences:  What are the economic trends based on Google searches/  Are there animals that dance to music without human training? • Is data the solution to everything? o Careful: correlation does not imply causation o “Even” internet data is biased o It’s easy to draw conclusions too quickly o The right questions need to be answered using proper data • Summary o The right questions need to be answered by the proper data o The rewards are high but handling data is an ongoing challenge to computer  scientists as well as security specialists and privacy preservers Lecture Recursion II – nothing notab
More Less

Related notes for COMPSCI 10

Log In


OR

Join OneClass

Access over 10 million pages of study
documents for 1.3 million courses.

Sign up

Join to view


OR

By registering, I agree to the Terms and Privacy Policies
Already have an account?
Just a few more details

So we can recommend you notes for your school.

Reset Password

Please enter below the email address you registered with and we will send you a link to reset your password.

Add your courses

Get notes from the top students in your class.


Submit