“滿城盡談大數(shù)據(jù)”，但很多人其實并不理解大數(shù)據(jù)真正價值是什么，哈佛大學Gary King教授用3個大數(shù)據(jù)研究案例告訴你：有數(shù)據(jù)固然好，但是如果沒有分析，數(shù)據(jù)的價值就沒法體現(xiàn)。
2017年初，哈佛大學政治學系教授加里·金(Gary King)在上海交通大學舉辦了一場名為《大數(shù)據(jù)，重要的不是數(shù)據(jù)》(Big Data is Not About the Data)的講座。
Gary King是哈佛大學的校級教授(University Professor)。King教授以實證研究知名，擅長量化研究，其研究涉及政治學、公共政策、法學、心理學和統(tǒng)計學等領域。
以下是Gary King 教授演講實錄(有刪節(jié))：
我工作的領域叫做量化社會科學(Quantitative Social Science)，有時，它有一個別稱，叫大數(shù)據(jù)。“大數(shù)據(jù)”這個詞最早是媒體發(fā)現(xiàn)的，它試圖向大眾解釋我們是做什么的，目前看來解釋的效果還不錯。
然而，大數(shù)據(jù)的價值不是在數(shù)據(jù)本身，雖然我們需要數(shù)據(jù)，數(shù)據(jù)很多時候只是伴隨科技進步而產(chǎn)生的免費的副產(chǎn)品。比如說，學校為了讓學生能更高效地注冊而引進了注冊系統(tǒng)，因而有了學生的很多信息，這些都是因為技術改進而產(chǎn)生的數(shù)據(jù)增量。
大數(shù)據(jù)的真正價值在于數(shù)據(jù)分析。數(shù)據(jù)是為了某種目的存在，目的可以變，我們可以通過數(shù)據(jù)來了解完全不同的東西……有數(shù)據(jù)固然好，但是如果沒有分析，數(shù)據(jù)的價值就沒法體現(xiàn)。
先來看一個大數(shù)據(jù)在公共政策層面運用的案例。
我們曾經(jīng)做過一個評估研究，發(fā)現(xiàn)2000年以后美國社會保障管理總署(U.S. Social Security Administration，簡稱“SSA”)對于美國社保賬戶及人口壽命的預測有系統(tǒng)性偏差。
2000年以后SSA對社?；鹳~戶情況的預測出現(xiàn)顯著偏差
大背景是，美國的社會保障平臺是美國最大的單一政府平臺，它的資金是跨代流動的——當前退休者的養(yǎng)老金供給來自于他們的下一代，即現(xiàn)在工作的人交的稅金。
所以SSA需要預測這個信托基金項目里的資金流，以及人的壽命，正確預測這兩點很重要，如果人們比SSA預期的更長壽——雖然這是好事——就很可能導致信托基金里就沒有足夠的錢給他們養(yǎng)老了。
我們研究發(fā)現(xiàn)，SSA的預測在2000年以后出現(xiàn)了系統(tǒng)性偏差——發(fā)生偏差的原因之一，是SSA使用的模型本質(zhì)上定性分析的模型，且多年來幾乎沒有調(diào)整。由于一些藥物的使用和癌癥早期發(fā)現(xiàn)，美國人開始比模型預測地更長壽了。
我們通過分析得出的結(jié)論是，美國社保信托基金至少存在8千億美元的缺口。
雖然結(jié)論有點不幸，但是政府需要提前知道。這樣政府就可以有空間在稅率，退休年齡等方面進行調(diào)整。這是公共政策層面的話題。
關于定性分析和定量分析，其實不是涇渭分明的。做分析全靠定性分析(由人主導)是不夠的，因為你有很多數(shù)據(jù)不知道該怎么處理。 全靠定量分析(由機器主導)也不行，這就像一張巨大的excel表，但是表中沒有行、列的標簽。所以，大數(shù)據(jù)分析需要的是由人主導，由計算機輔助的技術(we need computer-assisted, human-led technology)。
我們還做過一個計算機輔助閱讀的實驗。我們開發(fā)了一套計算機輔助、自動化閱讀的技術，這項技術能幫助人們從非結(jié)構化的文字中提取、組織并且處理大量信息。
我們曾用該技術處理了64000篇國會議員發(fā)布的新聞稿，想通過這項基礎幫我們作分類，看國會議員在新聞稿中都說了些什么。
結(jié)果我們發(fā)現(xiàn)，居然有高達27%的議員發(fā)布的新聞稿內(nèi)容只是單純地想抨擊對方(Partisan Taunting)，而不是想要平衡預算或停止戰(zhàn)爭，或解決問題。
(圖片說明：Gary King表示，抨擊對方政黨從個人角度來看是理性的，但是從整個集群的角度來看，是非理性的，如果抨擊對方的言語增多，政黨之間的合作關系和能效會減弱；來源：Gary King研究成果單頁)
大數(shù)據(jù)時代，我們可以通過去量化過去不能量化的信息，使用精妙的統(tǒng)計學方法分析這些信息成為可能。
現(xiàn)在，我們都可以對一些強定性屬性(inherently qualitative)的東西作定量分析了，如音頻和視頻。但是，目前仍有一些定性分析工作者要分析的內(nèi)容還未被量化。所以，定性分析、定量分析要配合操作才行。
我參與過一個產(chǎn)品項目叫做Perusall。“Peruse”是仔細精讀的意思，Perusall就是peruse + all，可以簡單理解為大家一起讀。
這個產(chǎn)品產(chǎn)生的背景是，大學教授會給同學布置閱讀作業(yè)，但是教授很難評估學生是否閱讀了規(guī)定的章節(jié)。如果有的學生沒讀而有的學生讀了，這對整體課堂的授課效果會有影響。
Perusall的好處之一，是它把閱讀從一個個體活動變成了一個集體活動。閱讀文章的同學可以對自己看不懂的部分做批注，也可以對其他同學的批注作回復解答。這樣更容易調(diào)動同學閱讀的主動積極性，讓閱讀變得更有趣。人天生是社會動物，這也是為什么人們相比于在iTunes里聽歌更愿意花錢去看演唱會，雖然前者音樂聲音更清晰。
(圖片說明：“學生困惑報告”樣本；來源：哈佛)
一旦學生用Perusall在線上閱讀之后，我們就有了很多之前不可能互獲取的數(shù)據(jù)：知道學生在讀什么，他們對閱讀內(nèi)容的反饋怎樣，他們在讀每一頁的時候花多少時間；當然，如果你沒有讀書的第46-47頁，我們也會知道這個。
一方面，Perusall會基于每個學生的閱讀情況和評價質(zhì)量，對學生的這項閱讀作業(yè)進行打分，從老師的層面看，這省去了原先閱讀作業(yè)不易評估的問題。另一方面，Perusall會分析這些閱讀數(shù)據(jù)，知道學生們讀到哪里時覺得困惑。
Perusall可以在老師上課前生成一個“學生困惑報告”(Students confusion report)。拿到這份報告，我就可以在一走進課堂時說，“根據(jù)你們的閱讀情況，你們可能有以下三個問題。”
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產(chǎn)業(yè)前沿產(chǎn)品、技術及市場趨勢的專業(yè)媒體傳播和品牌服務。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經(jīng)驗，提供媒體、活動、展會等整合營銷服務。
粵公網(wǎng)安備 44030402000264號
