1 大數據發(fā)展概述

　　當今是一個(gè)數據爆發(fā)增長(cháng)的時(shí)代。移動(dòng)互聯(lián)網(wǎng)、移動(dòng)終端和數據傳感器的出現，使數據以超出人們想象的速度快速增長(cháng)。據調查機構估測，數據數量一直在快速增加，這個(gè)速度不僅是指數據流的增長(cháng)，而且還包括全新的數據種類(lèi)的增多。目前數據容量增長(cháng)的速度，已經(jīng)大大超過(guò)了硬件技術(shù)的發(fā)展速度，并正在引發(fā)數據存儲和處理的危機。據統計，2013年全球產(chǎn)生的數據達到3.5澤字節，到2020年產(chǎn)生的數量將增至44澤字節。

　　“大數據”一詞來(lái)自于未來(lái)學(xué)家托夫勒于1980年所著(zhù)的《第三次浪潮》。最早開(kāi)始對大數據進(jìn)行應用探索的是2005年雅虎公司的Hadoop項目。Hadoop其最初只是用來(lái)解決網(wǎng)頁(yè)搜索問(wèn)題的一個(gè)項目，后被Apache Software Foundation公司引入并成為開(kāi)源應用。Hadoop是由多個(gè)軟件產(chǎn)品組成的一個(gè)生態(tài)系統，這些軟件產(chǎn)品共同實(shí)現全面功能和靈活的大數據分析。

　　世界上許多國家都已經(jīng)認識到了大數據所蘊含的重要戰略意義，紛紛開(kāi)始在國家層面進(jìn)行戰略部署，以迎接大數據技術(shù)革命正在帶來(lái)的新的機遇和挑戰。以美國為代表的發(fā)達國家在推進(jìn)大數據上已經(jīng)形成了從發(fā)展戰略、法律框架到行動(dòng)計劃的完整布局。

　　2 全球各國大數據的發(fā)展現狀

　　美國在《大數據研究和發(fā)展倡議》中，提出將通過(guò)收集龐大而復雜的數字資料，從中獲得知識和洞見(jiàn)，以提升能力。并協(xié)助加速在科學(xué)、工程上發(fā)現的步伐，強化美國國土安全，轉變教育和學(xué)習模式。根據這一計劃，美國希望利用大數據技術(shù)實(shí)現在多個(gè)領(lǐng)域的突破，包括科研教學(xué)、環(huán)境保護、工程技術(shù)、國土安全、生物醫藥等。其中具體的研發(fā)計劃涉及了美國國家科學(xué)基金會(huì )、國家衛生研究院、國防部、能源部、國防部高級研究局、地質(zhì)勘探局等6個(gè)聯(lián)邦部門(mén)和機構。

　　擁有世界第二多人口的印度，近兩年也持續運用大數據，期許打造出一個(gè)更便利、更親民的智慧城市。印度全國軟件與服務(wù)企業(yè)協(xié)會(huì )(Nasscom)預計，印度大數據行業(yè)規模在三年內將快速增長(cháng)，是當前規模的六倍，同時(shí)還是全球大數據行業(yè)平均增長(cháng)速度的兩倍。對于印度的整個(gè)IT行業(yè)來(lái)說(shuō)，大數據時(shí)代的到來(lái)會(huì )創(chuàng )造更多更新的機遇。

　　英國政府2012年時(shí)計劃在未來(lái)兩年內，在大數據和節能計算研究上投資1.89億英鎊，以帶動(dòng)企業(yè)在該領(lǐng)域的投資。大數據被英國看作是自己的優(yōu)勢所在，且英國認為已在政府層面為大數據做好了準備。

　　法國政府在2013年投入近1150萬(wàn)歐元，用于7個(gè)大數據市場(chǎng)研發(fā)項目。目的在于“通過(guò)發(fā)展創(chuàng )新性解決方案，并將其用于實(shí)踐，來(lái)促進(jìn)法國在大數據領(lǐng)域的發(fā)展。”法國政府在《數字化路線(xiàn)圖》中列出了五項將大力支持的戰略性高新技術(shù)，大數據就是其中一項。

　　日本在2012新一輪IT振興計劃中，將發(fā)展大數據作為國家戰略層面提出，重點(diǎn)關(guān)注大數據應用技術(shù)，如社會(huì )化媒體等智能技術(shù)的開(kāi)發(fā)、新醫療技術(shù)的開(kāi)發(fā)、以及交通擁堵治理等公共領(lǐng)域的應用。

　　新加坡政府在大數據發(fā)展過(guò)程中充當了關(guān)鍵角色，抓住了大數據發(fā)展的五大關(guān)鍵要素：基礎設施、產(chǎn)業(yè)鏈、人才、技術(shù)和立法，彌補了企業(yè)的短板。新加坡政府很早就提出支持新加坡企業(yè)采用大數據技術(shù)，利用大數據提升政府服務(wù)水平。

　　此外，澳大利亞、加拿大、新西蘭、德國和印度等國也在大數據領(lǐng)域進(jìn)行了研究部署，還紛紛推出本國的公共數據開(kāi)放網(wǎng)站，以使更多的人可以使用大數據資源，并從中獲得利益。目前，全球至少擁有大大小小的數據開(kāi)放網(wǎng)站50余個(gè)。

　　2.1 歐盟大數據的發(fā)展

　　目前，歐盟及其成員國已經(jīng)明確制定大數據發(fā)展戰略，數據價(jià)值鏈不同階段產(chǎn)生的價(jià)值將成為未來(lái)知識經(jīng)濟的核心，利用好數據可以為運輸、健康或制造業(yè)等傳統行業(yè)帶來(lái)新的機遇。

　　歐盟在大數據方面的活動(dòng)主要涉及四方面內容：研究數據價(jià)值鏈戰略因素;資助“大數據”和“開(kāi)放數據”領(lǐng)域的研究和創(chuàng )新活動(dòng);實(shí)施開(kāi)放數據政策;促進(jìn)公共資助科研實(shí)驗成果和數據的使用及再利用。

　　(1)數據價(jià)值鏈戰略計劃

　　歐盟委員會(huì )正在研究制定數據價(jià)值鏈戰略計劃，以實(shí)現數據的最大價(jià)值，重點(diǎn)是通過(guò)一個(gè)以數據為核心的連貫性歐盟生態(tài)體系，讓數據價(jià)值鏈的不同階段產(chǎn)生價(jià)值。數據價(jià)值鏈的概念為數據的生命周期，從數據產(chǎn)生、驗證以及進(jìn)一步加工后，以新的創(chuàng )新產(chǎn)品和服務(wù)形式出現的利用和再利用。

　　數據價(jià)值鏈戰略計劃遵循的主要原則是：高質(zhì)量數據的廣泛獲得性，包括公共資助數據

　　的免費獲得;作為數字化單一市場(chǎng)一部分，歐盟內數據的自由流動(dòng);尋求個(gè)人潛在隱私問(wèn)題與其數據再利用潛力之間的適當平衡，同時(shí)賦予公民以其希望形式使用自己數據的權利。

　　這一計劃的重點(diǎn)是培育一個(gè)連貫的歐洲數據生態(tài)系統，促進(jìn)圍繞數據的研究和創(chuàng )新工作，采納數據服務(wù)及產(chǎn)品，采取具體行動(dòng)，改善數據價(jià)值提取的框架條件，包括基礎能力、基礎設備、標準以及有利的政策和法規環(huán)境。目前正在單一戰略框架下制定一系列重點(diǎn)行動(dòng)，解決數據價(jià)值鏈中與價(jià)值創(chuàng )造相關(guān)的大量交叉問(wèn)題。

　　數據價(jià)值鏈戰略計劃包括開(kāi)放數據、云計算、高性能計算和科學(xué)知識開(kāi)放獲取四大戰略。

　　•數據開(kāi)放戰略

　　歐盟認為，為加強創(chuàng )新潛力，應盡可能的以最好的方式使用資源，這些創(chuàng )新資源就是數據，開(kāi)放數據將成為新的就業(yè)和經(jīng)濟增長(cháng)的重要工具。為了應對這一變革，2010年11月歐盟通信委員會(huì )向歐洲議會(huì )提交了“開(kāi)放數據：創(chuàng )新、增長(cháng)和透明治理的引擎”的報告，報告以開(kāi)放數據為核心，制定了應對大數據挑戰的戰略。

　　•云計算戰略

　　2012年9月，歐委會(huì )通過(guò)公布了“釋放歐洲云計算服務(wù)潛力”戰略，戰略計劃通過(guò)兩年時(shí)間，把歐盟打造成云計算服務(wù)的強勢集團，為2014-2020年期間的歐盟云起飛(夯實(shí)基礎。歐盟云計算戰略及三大關(guān)鍵行動(dòng)分別為：規范和簡(jiǎn)化的云計算標準;云計算安全和公平的合同條款及條件;建設歐盟云計算伙伴關(guān)系，驅動(dòng)創(chuàng )新和增長(cháng)。其它的具體行動(dòng)舉措還包括：數據保護、網(wǎng)絡(luò )安全、信任舉措、云計算互操作性、寬帶部署、在線(xiàn)服務(wù)、公共行業(yè)首先參與云計算和國際對話(huà)與合作等。目前歐盟已成立6個(gè)戰略實(shí)施工作小組，具體涉及云標準協(xié)調、服務(wù)標準協(xié)議、認證計劃、行為守則、專(zhuān)家研究小組和云伙伴關(guān)系。

　　•高性能計算戰略

　　在歐盟第七框架計劃和“地平線(xiàn)2020”計劃下的研究和創(chuàng )新支持可擴展的高性能計算系統。小型“數據中心式開(kāi)箱”可以單獨部署或集中在嵌入式系統在汽車(chē)或電話(huà)交換機，或者可以在大規模地聚集成為一個(gè)云服務(wù)器——如處理單元(GPU)或者高性能計算(HPC)系統。

　　•科學(xué)知識開(kāi)放獲取

　　科學(xué)知識開(kāi)放獲取的目標是提高歐盟層面和成員國層面政府資助的科學(xué)研究的影響力，2012-2013年，歐盟委員會(huì )投入4500萬(wàn)歐元建設支持開(kāi)放共享和科學(xué)信息長(cháng)期保存的基礎設施，并與各個(gè)相關(guān)利益團體就開(kāi)放共享和數字信息保存工作進(jìn)行對話(huà)，同時(shí)建議各成員國：制定本國的公共資助科研論文開(kāi)放共享政策，探索科學(xué)數據開(kāi)放共享和科學(xué)信息長(cháng)期保存，支持相應的基礎設施建設。2012年7月17日，歐盟委員會(huì )發(fā)布開(kāi)放共享政策，宣布歐盟Horizon2020計劃所資助科研論文全部實(shí)行開(kāi)放共享。2013年12月25日，歐盟委員會(huì )宣布啟動(dòng)試點(diǎn)，開(kāi)放公共資助研究數據，2014-2015年，參與開(kāi)放研究數據試點(diǎn)的關(guān)鍵領(lǐng)域的項目將獲得約30億歐元的經(jīng)費。

　　(2)資助“大數據”和“開(kāi)放數據”領(lǐng)域的研究和創(chuàng )新活動(dòng)

　　歐盟委員會(huì )在資助“大數據”和“開(kāi)放數據”領(lǐng)域的研究和創(chuàng )新活動(dòng)外，還啟動(dòng)“連接歐洲設施”(CEF)計劃，采取權益和債務(wù)證券及補助相結合的形式促進(jìn)數字基礎設施的建設。在2014年1月的信息和網(wǎng)絡(luò )日上，歐盟委員會(huì )確定了“地平線(xiàn)2020”連接歐洲設施計劃的2014-2015年工作內容。

　　(3)實(shí)施開(kāi)放數據政策

　　開(kāi)放數據政策一方面制定公共信息再利用的法規和國家執行規則以及歐盟委員會(huì )自身數據再利用規則;另一方面支持公共部門(mén)信息開(kāi)放活動(dòng)，此外還搭建開(kāi)放數據平臺。

　　(4)促進(jìn)公共資助科研實(shí)驗成果和數據的使用及再利用

　　促進(jìn)公共資助科研試驗成果和數據的使用和再使用也稱(chēng)科學(xué)知識開(kāi)放獲取。