在大數據中找到別人的“集體智慧”

最近，我去了一趟美國，看到大數據領域的幾個變化，這些變化有可能極大地改變世界。

第一個變化是開始從被動搜集數據，轉變為主動搜集數據。

美國一家公司現場給我們表演，電視里正在播放新聞，他們把手機放在電視機旁，手機很快識別出這是CNN新聞頻道，以及正在播出什么內容。我們三個人拿出自己的手機，手機同時放三首不同的歌，他們的軟件很快辨別出這三首歌是什么，以及作為背景正在播放的電視新聞。這意味著，非結構性的數據編程結構性數據，開始從被動搜集數據轉變為主動搜集數據。

第二個變化是非實時轉實時。

滴滴打車的數據可以說明不同地點的人流情況，但是零售業得到了這些數據，又如何觸到它的用戶群呢？大家知道這個世界有一個，DSP（Demand－Side Platform 需求方平臺），作為中間方，DMP記錄用戶去了哪個網站，用了什么APP。當人使用APP時，數據會告訴DSP，這個人出現在了某一個地方，DSP就能夠幫商戶做智能投放。由于背后有大數據支撐，投放在很短的時間內就能完成。這種模式對營銷來說，絕對是一個顛覆。

還有一個非常重要的變化是對話。

美國有兩大公司，幾乎同時宣布了一項戰略性科技——對話的人工智能。比如，你的房間有一個音響，這個音響同時是一個傳感器。當你說“我要買一瓶醬油”，音響會和你說：“老板，你是不是要買你之前買過的醬油？”你說：“不是，我要買新的。”它就會告訴你，新的醬油以及同樣差不多的有幾種，建議你選擇哪種。這個變化將引發一個大的顛覆。

隱私+歸屬權：從混沌走向清晰

說到大數據，不得不提的是大數據與隱私這個問題。

這次在美國，我見到了一位在隱私問題上給美國總統提意見的專家。他說，關于個人隱私會有一個顛覆性的變化，這一變化在歐洲已經開始了，現在是美國。過去，當用戶使用一個應用時，都會和應用方簽訂一個協議，表明用戶同意把自己的數據交給應用方以改善用戶體驗。但是，大部分人都不知道自己同意的是什么，僅僅是點擊了“同意”。美國的法律對此準備進行修改，這可能會改變大數據產業。

在這個變化中有個問題，數據分可識別數據、不可識別數據。互聯網上的數據，有的可以識別是你，有的不可以識別是你。當不能完全知道他是誰，沒有辦法和他說你是否同意時該怎么辦？現在，美國正在認真討論類似的事情。

另一個問題是數據的擁有權是誰？早期大家是按照實物的思路，來定義數據擁有權的法律，后來發現這條路撞墻了。數據的可愛之處就是看見就看見了，不在于是你拿著還是我拿著。法律界已經開始關注這個問題。

關于隱私問題，大部分用戶更多是希望平衡好，你不能拿到我的數據我一點好處都沒有，你拿了數據使用我卻一點都不知道。所以，問題是誰有權控制？比如臉書，每一次使用用戶數據，會告訴用戶，這個數據會在某個點使用，這就涉及數據使用透明和是否可控的權利問題。這個行業里面很多人不想講這個問題，但并不是不知道。這是我們做大數據的人必須要慢慢解決的，否則這是一個定時炸彈。

當然，有大量的數據不相關隱私。比如，用1000個人或者5000個人的數據算出來的結果，當做大數據營銷的時候，有沒有把他捆綁在5000個人當中營銷？美國有些法案很可愛，認定個人數據的隱私問題不是放在單獨的案例當中，而是放在行業里面。我問專家，為什么要放在行業里面？他說，個人隱私和行業有關，比如賣藥的，個人隱私的監管就會非常嚴格，而游戲類的個人數據會相對簡單一些。在歐洲則是一套法律，不分行業。歐洲人認為，隱私是一個人的底線。而美國認為價值和隱私之間可平衡。這些都是未來大家都會議論的課題。

做好縫合，不斷迭代

大數據的本身是異構異類的數據，就像裁縫把不同的材料縫成一件衣服一樣，需要很多技術把數據連接起來，讓這些數據可以使用。不同材料縫合在一起，中間會有一些縫合處。

美國任何一個做大數據的人，都會告訴你數據關聯很難。美國可以把數據關聯起來的公司有幾家。美國大數據行業在產業鏈上，是可以分工的。你干這個，我干那個，大家協同把東西做出來。這和中國的情況是有區別的。

要把大數據整合起來，數據源好不好非常重要。另外有沒有不同的環境可以進行數據測試，也很重要。

數據是迭代的，算法是迭代的，產品服務也是迭代的。數據有不同的版本、算法有不同的版本，我們要找到最優、同一個語境下最好的算法，達到最好的服務。

將大數據變成企業的洞察力和行動力

對于企業來說，需要將大數據變成企業的洞察力、行動力。10年前，商業決策都是靠經驗驅動，用數據證明自己的判斷是對的。而數據驅動，則要擁有足夠的數據，通過數據發現一些以前沒有看到的東西。

比如，有一些人在購物網站搜索過的關鍵詞，兩個月后會成為比較流行的關鍵詞。當我們深入分析時，數據會告訴我們，購物里面是有達人的，購物達人看的東西和普通人不一樣，他們有自己的方法尋找自己想要的商品。如果能跟蹤這些達人，就可以找到用一般推薦引擎無法找到的東西。

一個學習的完整體系，簡單來講，首先有目標定義，之后進行決策、行動、拿到行動結果之后學習。人類學習的一般方法，都是根據這個鏈路進行，這叫“自學習”：用自己的經驗慢慢積累，進行一個自我循環。

當我們開始做大數據的時候，你會發現，別人的數據會成為你的經驗。你也可以把別人的數據代入自己的決策，學習到別人的經驗，這叫“集體智慧”。在大數據當中，我們可以找到別人的集體智慧。

大數據里的創新，可以有三個層面：數據的創新、算法的創新、服務的創新。

下面這張圖中有四個坐標：數據集中、數據分散、問題清楚、問題不清楚。過去我們可以解決的是數據集中、問題很清楚的部分，后來開始出現很多碎片化、分散的數據，我們發現可以用零散的、沒有集合、沒有結構化的數據，更好地解決原來的問題。

舉一個例子，有一個網站雖然有幾億用戶群，但只有幾百萬人買彩票。如何找到更多用戶到這個網站上買彩票呢？按以往的方法，先描述買彩票的人是什么樣的，經驗認為男的比較喜歡買彩票，年紀應該是25-35歲。而用大數據的方法，則是想猜用戶下一步想做什么，可以看4周之內用戶有沒有看過彩票的內容，如果有，那他就是一個希望要買彩票的人，只是沒有在網站里買。用這個思路，我們發現買彩票的女性比男性多，而且往往是在辦公室里買的多。這樣一來，數據就指明了哪些人在哪些地點是最好去做營銷的。

對于數據零散且問題不是很清楚，大數據同樣可以解決。比如在面對不知道客戶是什么樣的人，只知道這些人是重復購買的人，而想要用大眾標簽去描述這些人時，可以先猜1000個人，對他們進行營銷，發現有些人被猜對，有些人被猜錯。對猜對的那部分人繼續深入，慢慢就會越做越準確。這就是我通常講的“用數據養數據”。

一個公司有沒有大數據能力，一般看他有沒有預測能力和行動能力。但是布點/收集、存儲/刷新、識辨/關聯，也很重要。前者是如何讓數據更容易使用，后者是如何讓數據更有效關聯在一起。這個閉環如果可以做好，就可以做一個非常好的數據產品。

考量“好數據”的六把標尺

好的數據，六個衡量標準是缺一不可。缺少其中任何一個，數據質量就會下降。有的數據很稀缺，很獨家，那就是數據價值。數據質量，主要要看準不準，但還要看全不全。如果你只拿到安卓的數據，沒有拿到蘋果的數據，那就不全。一段段很零散的數據買過來，沒有連續性的數據也是不行的。需要找很可靠的伙伴來提供算法、數據、服務。

一家公司是否能用好自己的數據，首先要看一個公司高管、員工有沒有意愿，接著看工具。有意愿、有能力、有工具的前提下，才談到整個公司一定要對數據有自己的方向，有組織保障，以及執行到位。

信息數據化的研究，還應該包括應用無線化。對話性的產品，將是顛覆世界的產品。互動的產品，將來或許會越來越多，這也是我們在創新產品時非常大的機會。

（作者為紅杉資本中國基金會專家合伙人、原阿里數據委員會會長。）