AI需求層次論——人工智能應(yīng)該怎么用？
人工智能和機(jī)器學(xué)習(xí)最近被炒作得非常厲害。但是這個(gè)東西不是開(kāi)箱即用，需要打下堅(jiān)實(shí)的基礎(chǔ)才能應(yīng)用。數(shù)據(jù)科學(xué)顧問(wèn)，前Jawbone數(shù)據(jù)副總裁及LinkedIn數(shù)據(jù)科學(xué)家MonicaRogati對(duì)此提出了各個(gè)組織應(yīng)用AI的需求層次論。指出先要解決了數(shù)據(jù)素養(yǎng)、數(shù)據(jù)采集和基礎(chǔ)設(shè)施這些基本需求之后才能去考慮AI這個(gè)頂層的自我實(shí)現(xiàn)需求。
就像發(fā)展迅速的技術(shù)一樣，AI也激發(fā)了大規(guī)模的FOMO（害怕錯(cuò)過(guò)）、FUD（恐、惑、疑）和不和。其中一些是應(yīng)該的，也有一些不是但這個(gè)行業(yè)正在留意。從秘密的硬件初創(chuàng)企業(yè)到金融技術(shù)巨頭乃至于上市公司，各個(gè)團(tuán)隊(duì)都在忙碌地實(shí)施自己的AI戰(zhàn)略。這一切都?xì)w結(jié)到一個(gè)關(guān)鍵且高風(fēng)險(xiǎn)的問(wèn)題：我們會(huì)怎么使用AI和機(jī)器學(xué)習(xí)來(lái)讓我們做的事情變得更好？
通常公司都還沒(méi)有為AI做好準(zhǔn)備。也許他們招聘了自己的第一位數(shù)據(jù)科學(xué)家但卻達(dá)不到想要的效果，或者也許數(shù)據(jù)素養(yǎng)并不是他們文化的核心。但最常見(jiàn)的情形是透明還沒(méi)有建立起基礎(chǔ)而設(shè)施去實(shí)施最基本的數(shù)據(jù)科學(xué)算法和操作，更不用說(shuō)機(jī)器學(xué)習(xí)了。
作為數(shù)據(jù)科學(xué)/AI顧問(wèn)，我必須無(wú)數(shù)次地傳達(dá)這一信息，過(guò)去2年尤其如此。其他人也表示同意。在大家都對(duì)你所在的領(lǐng)域充滿著興奮之情是做一個(gè)潑冷水的人是很困難的，尤其是如果你也分享著這種興奮時(shí)。還有你應(yīng)該怎么去告訴那些公司，說(shuō)如果沒(méi)有（或者成為）精英也就是自我任命的看門(mén)人的話是不可能為AI做好準(zhǔn)備的呢？
這里是一個(gè)引起大家最多共鳴的一個(gè)解釋?zhuān)?/p>
可以把AI看作是需求金字塔的頂端。是的，自我實(shí)現(xiàn)（AI）是非常棒的，但你首先需要食物、水和庇護(hù)所（數(shù)據(jù)素養(yǎng)、數(shù)據(jù)采集和基礎(chǔ)設(shè)施）。
你的數(shù)據(jù)需要有牢靠的基礎(chǔ)，然后才可以高效地運(yùn)用AI和機(jī)器學(xué)習(xí)。
基本需求：你能算嗎？
金字塔的底部是數(shù)據(jù)采集。你需要什么樣的數(shù)據(jù)？你又有什么樣的數(shù)據(jù)？如果是面向用戶(hù)的產(chǎn)品，你有沒(méi)有記錄所有相關(guān)的用戶(hù)交互？如果產(chǎn)品是傳感器，庫(kù)卡機(jī)器人何服電機(jī)維修，數(shù)據(jù)是從哪兒來(lái)的，怎么來(lái)？記錄一種尚未物聯(lián)化的交互有多容易？畢竟，擁有合適的數(shù)據(jù)集是機(jī)器學(xué)習(xí)最近能取得進(jìn)展的關(guān)鍵。
其次，要弄清楚數(shù)據(jù)流是如何流經(jīng)系統(tǒng)的？你有沒(méi)有可靠的數(shù)據(jù)流處理系統(tǒng)或者ETL（提取轉(zhuǎn)換加載）？數(shù)據(jù)存放在哪里？訪問(wèn)和分析這些數(shù)據(jù)有多容易？JayKreps一直都在說(shuō)（有10年的時(shí)間了）可靠的數(shù)據(jù)流是任何數(shù)據(jù)處理方面事情的關(guān)鍵。（附注：我正在尋找這句話的確切出處，結(jié)果在他的碩士論文《我喜歡日志》中找到了。然后我注意到他在一段話之后做出了這個(gè)馬斯洛的需求層次論的比較，并以值得注意的是來(lái)作為附注。說(shuō)到相關(guān)工作，后來(lái)我又看到了HilaryMason和ChrisWiggings的精彩文章，機(jī)器人維修，講的是數(shù)據(jù)科學(xué)家應(yīng)該做什么事情。幾天前，SeanTaylor披露了自己的數(shù)據(jù)科學(xué)需求金字塔，當(dāng)然這跟這里的金字塔是完全不同的。）
只有當(dāng)你有了數(shù)據(jù)之后，工業(yè)機(jī)器人維修，才可以對(duì)數(shù)據(jù)進(jìn)行探索和轉(zhuǎn)換。這里的工作包括臭名卓著的數(shù)據(jù)清洗，這是數(shù)據(jù)科學(xué)領(lǐng)域被低估的一項(xiàng)工作，這一塊我得另起一篇文章來(lái)談。當(dāng)你發(fā)現(xiàn)你失去了一大塊數(shù)據(jù)，你的傳感器不可靠，某次版本變更意味著你的事件被丟失，你對(duì)某個(gè)標(biāo)志產(chǎn)生了誤解時(shí)你就得回過(guò)頭來(lái)確保金字塔的基礎(chǔ)是牢靠的。
當(dāng)你可以可靠地探索和清洗數(shù)據(jù)時(shí)，你就可以進(jìn)行傳統(tǒng)上被認(rèn)為是BI或分析方面的事情：定義要跟蹤的指標(biāo)，其季候性以及對(duì)不同因素的敏感性。也需要進(jìn)行一些艱苦的用戶(hù)細(xì)分的工作，去看看會(huì)不會(huì)有什么東西冒出來(lái)。然而，既然你的目標(biāo)是AI，你現(xiàn)在要搭建的是隨后被認(rèn)為是特征的東西，以供將來(lái)吸收進(jìn)你的機(jī)器學(xué)習(xí)模型里面。在這個(gè)階段，你還知道了你打算要預(yù)測(cè)或者學(xué)習(xí)什么，你還可以開(kāi)始通過(guò)生成標(biāo)簽（自動(dòng)或者手工的方式）來(lái)準(zhǔn)備你的訓(xùn)練數(shù)據(jù)。
這個(gè)階段也是你找到自己最令人興奮和引人注目的數(shù)據(jù)故事的時(shí)候但這也是另一篇文章的主題了。
好了，現(xiàn)在我能算了。接下來(lái)呢？
我們有了訓(xùn)練數(shù)據(jù)了那是不是現(xiàn)在可以進(jìn)行機(jī)器學(xué)習(xí)了呢？也許吧，如果你是想在內(nèi)部進(jìn)行客戶(hù)流失率預(yù)測(cè)的話；但如果結(jié)果是面向客戶(hù)的答案就是否定的。我們需要進(jìn)行A/B測(cè)試（不管是如何的原始）或者有準(zhǔn)備好的實(shí)驗(yàn)框架，這樣才能逐步部署以避免災(zāi)難，并在改變影響每個(gè)人之前對(duì)改變的效果進(jìn)行粗略的估計(jì)。這也是將非常簡(jiǎn)單的基線部署到位的合適時(shí)機(jī)（對(duì)于推薦系統(tǒng)來(lái)說(shuō)，基線系統(tǒng)可以是最熱門(mén)，然后是細(xì)分用戶(hù)市場(chǎng)的最熱門(mén)這就是非常煩人但有效的個(gè)性化之前先用老一套）。
簡(jiǎn)單的啟發(fā)法的難以擊敗甚至到令人驚訝的地步，它們會(huì)讓你以端到端的方式調(diào)試系統(tǒng)，這不需要神秘的機(jī)器學(xué)習(xí)黑箱，在這中間要需要超參數(shù)調(diào)整。
到了這個(gè)時(shí)候，你可以部署一個(gè)非常簡(jiǎn)單的機(jī)器學(xué)習(xí)算法（比如邏輯回歸或者分類(lèi)等），然后考慮可能影響到你的結(jié)果的信號(hào)和特征。天氣和普查數(shù)據(jù)是我的目標(biāo)。還有，盡管深度學(xué)習(xí)很強(qiáng)大，但它不會(huì)自動(dòng)幫你做這些事情。引入新的信號(hào)（特征建立，不是特征工程）可以大幅改善你的性能。在這里花些時(shí)間是值得的，即便身為數(shù)據(jù)科學(xué)家我們也對(duì)向上進(jìn)入金字塔的更高層面感到興奮。
發(fā)展AI！
數(shù)據(jù)有了。裝置也有了。你的ETL開(kāi)始發(fā)揮作用了。你的數(shù)據(jù)已經(jīng)組織好并且清洗過(guò)了。你有了儀表盤(pán)，標(biāo)簽以及好的特征。你在測(cè)量合適的東西。你可以每天進(jìn)行試驗(yàn)。你有了一個(gè)基線算法，可以進(jìn)行端到端的調(diào)試，并且在生產(chǎn)中運(yùn)轉(zhuǎn)而且你已經(jīng)對(duì)它進(jìn)行了十幾次的變更。總之，你已經(jīng)準(zhǔn)備好了。接下來(lái)從自己鋪開(kāi)到利用專(zhuān)長(zhǎng)于機(jī)器學(xué)習(xí)的公司，你可以繼續(xù)去嘗試最新最好的東西。你可能可以在生產(chǎn)方面取得巨大改進(jìn)，或者也許不能。但最壞的情況下，你也能學(xué)到一些新的方法，形成自己的觀點(diǎn)并有了上手體驗(yàn)，并且可以告訴你的投資者和客戶(hù)自己在AI方面做了哪些努力而不是給人感覺(jué)像是個(gè)騙子。而在最好的情況下，你可以為用戶(hù)、客戶(hù)和公司帶來(lái)巨大的不同這是機(jī)器學(xué)習(xí)的一個(gè)真正的成功故事。
等一下，MVP、敏捷、精益等其他東西呢？
數(shù)據(jù)科學(xué)需求層次輪不是用1年的時(shí)間過(guò)度建設(shè)脫節(jié)的基礎(chǔ)設(shè)施的借口。就像傳統(tǒng)的最小可行產(chǎn)品（MVP）的開(kāi)發(fā)套路一樣，你也要從產(chǎn)品小的垂直板塊開(kāi)始，把它從端到端都做好了。比方說(shuō)，在Jawbone，我們先從睡眠數(shù)據(jù)開(kāi)始并搭建它的金字塔：工具手段，ETL，清洗和組織，標(biāo)簽捕捉和定義，指標(biāo)（大家美軍每晚的睡眠時(shí)間是多長(zhǎng)？小憩呢？什么是小憩？），跨細(xì)分市場(chǎng)分析，一直到數(shù)據(jù)故事和機(jī)器學(xué)習(xí)驅(qū)動(dòng)數(shù)據(jù)產(chǎn)品（自動(dòng)睡眠檢測(cè)）。我們后來(lái)又把它延伸到步數(shù)，然后食物、天氣、鍛煉、社交網(wǎng)絡(luò)以及溝通每次做一個(gè)。在端到端做完一件事情之前我們并沒(méi)有建設(shè)一個(gè)包羅萬(wàn)象的基礎(chǔ)設(shè)施。
提出合適的問(wèn)題，開(kāi)發(fā)合適的產(chǎn)品
這只與如何可以有關(guān)，跟應(yīng)該如何無(wú)關(guān)（出于實(shí)用主義或者道德倫理的原因）。
機(jī)器學(xué)習(xí)工具的希望
等一下，AmazonAPI或者TensorFlow等別的開(kāi)源庫(kù)呢？其他在賣(mài)機(jī)器學(xué)習(xí)或者自動(dòng)析取洞察和特征的工具的公司呢？