導(dǎo)語

NIPS 2016：吳恩達(dá)表示，“在繼深度學(xué)習(xí)之后，遷移學(xué)習(xí)將引領(lǐng)下一波機(jī)器學(xué)習(xí)技術(shù)。

大牛吳恩達(dá)曾經(jīng)說過：做 AI 研究就像造宇宙飛船，除了充足的燃料之外，強(qiáng)勁的引擎也是必不可少的。假如燃料不足，則飛船就無法進(jìn)入預(yù)定軌道。而引擎不夠強(qiáng)勁，飛船甚至不能升空。類比于 AI，深度學(xué)習(xí)模型就好像引擎，海量的訓(xùn)練數(shù)據(jù)就好像燃料，這兩者對于 AI 而言同樣缺一不可。在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)、學(xué)習(xí)輸入到輸出的精準(zhǔn)映射上，近年來大家做得越來越好。不管是針對圖像、語句，還是標(biāo)簽預(yù)測，有了大量做過標(biāo)記的樣例，都已不再是難題。

但是！今天的深度學(xué)習(xí)算法仍然欠缺的，是在新情況（不同于訓(xùn)練集的情況）上的泛化能力和訓(xùn)練模型所必須的海量數(shù)據(jù)難以獲取。

在深度學(xué)習(xí)熱火朝天，全民深度的時(shí)候說深度學(xué)習(xí)的壞話，而且對于那些沒有看完本文的標(biāo)題黨，會(huì)不會(huì)打我。但是我還是要鼓足勇氣說一下深度學(xué)習(xí)目前面臨的困難：

表達(dá)能力的限制。因?yàn)橐粋€(gè)模型畢竟是一種現(xiàn)實(shí)的反映，等于是現(xiàn)實(shí)的鏡像，它能夠描述現(xiàn)實(shí)的能力越強(qiáng)就越準(zhǔn)確，而機(jī)器學(xué)習(xí)都是用變量來描述世界的，它的變量數(shù)是有限的，深度學(xué)習(xí)的深度也是有限的。另外它對數(shù)據(jù)的需求量隨著模型的增大而增大，但現(xiàn)實(shí)中有那么多高質(zhì)量數(shù)據(jù)的情況還不多。所以一方面是數(shù)據(jù)量，一方面是數(shù)據(jù)里面的變量、數(shù)據(jù)的復(fù)雜度，深度學(xué)習(xí)來描述數(shù)據(jù)的復(fù)雜度還不夠復(fù)雜。

缺乏反饋機(jī)制。目前深度學(xué)習(xí)對圖像識(shí)別、語音識(shí)別等問題來說是最好的，但是對其他的問題并不是最好的，特別是有延遲反饋的問題，例如機(jī)器人的行動(dòng)，AlphaGo 下圍棋也不是深度學(xué)習(xí)包打所有的，它還有強(qiáng)化學(xué)習(xí)的一部分，反饋是直到最后那一步才知道你的輸贏。還有很多其他的學(xué)習(xí)任務(wù)都不一定是深度學(xué)習(xí)才能來完成的。

模型復(fù)雜度高。以下是一些當(dāng)前比較流行的機(jī)器學(xué)習(xí)模型和其所需的數(shù)據(jù)量，可以看到隨著模型復(fù)雜度的提高，其參數(shù)個(gè)數(shù)和所需的數(shù)據(jù)量也是驚人的。

OK，從上面的闡述，我們可以得出目前傳統(tǒng)的機(jī)器學(xué)習(xí)方法（包括深度學(xué)習(xí)）三個(gè)待解決的關(guān)鍵問題：

隨著模型復(fù)雜度的提高，參數(shù)個(gè)數(shù)驚人。

在新情況下模型泛化能力有待提高。

訓(xùn)練模型的海量的標(biāo)記費(fèi)時(shí)且昂貴。

表達(dá)能力有限且缺乏反饋機(jī)制。

遷移學(xué)習(xí)幫你搞定一切，讓你的模型小而輕，還能舉一反三！

"你永遠(yuǎn)不能理解一種語言——除非你至少理解兩種語言"。

任何一個(gè)學(xué)過第二語言的人，對英國作家杰弗里·威廉斯的這句話應(yīng)該都會(huì)"感同身受"。但為什么這樣說呢？其原因在于學(xué)習(xí)使用外語的過程會(huì)不可避免地加深一個(gè)人對其母語的理解。事實(shí)上，歌德也發(fā)現(xiàn)這一理念的強(qiáng)大威力，以至于他不由自主地做出了一個(gè)與之類似但更為極端的斷言：

"一個(gè)不會(huì)外語的人對其母語也一無所知"。

這種說法極為有趣，但令人驚訝的是恐怕更在于其實(shí)質(zhì)——對某一項(xiàng)技能或心理機(jī)能的學(xué)習(xí)和精進(jìn)能夠?qū)ζ渌寄芑蛐睦頇C(jī)能產(chǎn)生積極影響——這種效應(yīng)即為遷移學(xué)習(xí)。它不僅存在于人類智能，對機(jī)器智能同樣如此。如今，遷移學(xué)習(xí)已成為機(jī)器學(xué)習(xí)的基礎(chǔ)研究領(lǐng)域之一，且具有廣泛的實(shí)際應(yīng)用潛力。

一些人也許會(huì)很驚訝，計(jì)算機(jī)化的學(xué)習(xí)系統(tǒng)怎樣能展現(xiàn)出遷移學(xué)習(xí)的能力。Google 通過一項(xiàng)涉及兩套機(jī)器學(xué)習(xí)系統(tǒng)的實(shí)驗(yàn)來思考了這個(gè)問題，為了簡單起見，我們將它們稱為機(jī)器 A 和機(jī)器 B。機(jī)器 A 使用全新的 DNN，機(jī)器 B 則使用已經(jīng)接受訓(xùn)練并能理解英語的 DNN?，F(xiàn)在，假設(shè)我們用一組完全相同的普通話錄音及對應(yīng)文本來對機(jī)器 A 和 B 進(jìn)行訓(xùn)練，大家覺得結(jié)果會(huì)怎樣？令人稱奇的是，機(jī)器 B（曾接受英語訓(xùn)練的機(jī)器）展現(xiàn)出比機(jī)器 A 更好的普通話技能，因?yàn)樗敖邮艿挠⒄Z訓(xùn)練將相關(guān)能力遷移到了普通話理解任務(wù)中。

不僅如此，這項(xiàng)實(shí)驗(yàn)還有另一個(gè)令人更為驚嘆的結(jié)果：機(jī)器 B 不僅普通話能力更高，它的英語理解能力也會(huì)提高！看來威廉斯和歌德確實(shí)說對了一點(diǎn)——學(xué)習(xí)第二語言確實(shí)能夠加深對兩種語言的理解，即使機(jī)器也不例外。

其實(shí)這就是計(jì)算機(jī)化的遷移學(xué)習(xí)。然而在我們身邊，遷移學(xué)習(xí)的例子太多太多，一個(gè)精通吉他的人會(huì)比那些沒有音樂基礎(chǔ)的人能更快地學(xué)習(xí)鋼琴；一個(gè)會(huì)打乒乓球的人比沒有經(jīng)驗(yàn)的人更容易接受網(wǎng)球；會(huì)騎自行車的人能更快學(xué)習(xí)騎電動(dòng)車，等等，遷移學(xué)習(xí)就在你身邊。

在機(jī)器學(xué)習(xí)的經(jīng)典監(jiān)督學(xué)習(xí)場景中，如果我們要針對一些任務(wù)和域 A 訓(xùn)練一個(gè)模型，我們會(huì)假設(shè)被提供了針對同一個(gè)域和任務(wù)的標(biāo)簽數(shù)據(jù)（也就是說訓(xùn)練集和測試集的數(shù)據(jù)必須是iid的，即獨(dú)立同分布）。我們可以在下圖中清楚地看到這一點(diǎn)，其中我們的模型 A 在訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)中的域和任務(wù)都是一樣的（后面我會(huì)詳細(xì)地定義什么是任務(wù)（task），以及什么是域（domain））。

現(xiàn)在我們可以在這個(gè)數(shù)據(jù)集上訓(xùn)練一個(gè)模型 A，并期望它在同一個(gè)任務(wù)和域中的未知數(shù)據(jù)上表現(xiàn)良好。在另一種情況下，當(dāng)給定一些任務(wù)或域 B 的數(shù)據(jù)時(shí)，我們還需要可以用來訓(xùn)練模型 B 的有標(biāo)簽數(shù)據(jù)，這些數(shù)據(jù)要屬于同一個(gè)任務(wù)和域，這樣我們才能預(yù)期能在這個(gè)數(shù)據(jù)集上表現(xiàn)良好。

但是，現(xiàn)實(shí)往往很殘酷，當(dāng)我們沒有足夠的來自于我們關(guān)心的任務(wù)或域的標(biāo)簽數(shù)據(jù)來訓(xùn)練可靠的模型時(shí)（新的標(biāo)簽數(shù)據(jù)很難獲取，或者很費(fèi)時(shí)），傳統(tǒng)的監(jiān)督學(xué)習(xí)范式就支持不了了。

但傳統(tǒng)的監(jiān)督學(xué)習(xí)方法也會(huì)失靈——在缺乏某任務(wù)/領(lǐng)域標(biāo)記數(shù)據(jù)的情況下，它往往無法得出一個(gè)可靠的模型。舉個(gè)例子，如果我們想要訓(xùn)練出一個(gè)模型，對夜間的行人圖像進(jìn)行監(jiān)測，我們可以應(yīng)用一個(gè)相近領(lǐng)域的訓(xùn)練模型——白天的行人監(jiān)測。理論上這是可行的。但實(shí)際上，模型的表現(xiàn)效果經(jīng)常會(huì)大幅惡化，甚至崩潰。這很容易理解，模型從白天訓(xùn)練數(shù)據(jù)獲取了一些偏差，不知道怎么泛化到新場景。

如果我們想要執(zhí)行全新的任務(wù)，比如監(jiān)測自行車騎手，重復(fù)使用原先的模型是行不通的。這里有一個(gè)很關(guān)鍵的原因：不同任務(wù)的數(shù)據(jù)標(biāo)簽不同。但是遷移學(xué)習(xí)就允許我們通過借用已經(jīng)存在的一些相關(guān)的任務(wù)或域的標(biāo)簽數(shù)據(jù)來處理這些場景，充分利用相近任務(wù)/領(lǐng)域的現(xiàn)有數(shù)據(jù)我們嘗試著把在源域中解決源任務(wù)時(shí)獲得的知識(shí)存儲(chǔ)下來，并將其應(yīng)用在我們感興趣的目標(biāo)域中的目標(biāo)任務(wù)上去，如下圖所示。

1.遷移學(xué)習(xí)的基本概念：域和任務(wù)，源和目標(biāo)

一個(gè)域 D 由一個(gè)特征空間 X 和特征空間上的邊際概率分布 P(X) 組成，其中 X=x1,…, xn∈X。對于有很多詞袋表征（bag-of-words representation）的文檔分類，X 是所有文檔表征的空間，xi 是第 i 個(gè)單詞的二進(jìn)制特征，X 是一個(gè)特定的文檔。對我來說，通俗的理解就是域 D 就是特征的空間及分布。

給定一個(gè)域 D={X,P(X)}，一個(gè)任務(wù) T 由一個(gè)標(biāo)簽空間 y 以及一個(gè)條件概率分布 P（Y|X）構(gòu)成，這個(gè)條件概率分布通常是從由特征——標(biāo)簽對 xi∈X,yi∈Y 組成的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到。在我們的文檔分類的例子中，Y 是所有標(biāo)簽的集合（即真（True）或假（False）），yi 要么為真，要么為假。

源域 Ds，一個(gè)對應(yīng)的源任務(wù) Ts，還有目標(biāo)域 Dt，以及目標(biāo)任務(wù) Tt，這個(gè)就很好理解了，源就是對應(yīng)的我們的訓(xùn)練集，目標(biāo)就是對應(yīng)我們的測試集。

2.遷移學(xué)習(xí)的定義：

在 Ds≠Dt 和/或 Ts≠Tt 的情況下，讓我們在具備來源于 Ds 和 Ts 的信息時(shí)，學(xué)習(xí)得到目標(biāo)域 Dt 中的條件概率分布 P（Yt|Xt）。絕大多數(shù)情況下，假設(shè)可以獲得的有標(biāo)簽的目標(biāo)樣本是有限的，有標(biāo)簽的目標(biāo)樣本遠(yuǎn)少于源樣本。

3.遷移學(xué)習(xí)的分類：

XS≠XT，即源域和目標(biāo)域的特征空間不同，舉個(gè)例子，文檔是用兩種不同的語言寫的。在自然語言處理的背景下，這通常被稱為跨語言適應(yīng)（cross-lingual adaptation），我們將這種情況稱為異構(gòu)遷移學(xué)習(xí)（Heterogeneous TL）。

XS=XT，即源域和目標(biāo)域的特征空間相同，稱為同構(gòu)遷移學(xué)習(xí)（Homogenrous TL）

P(Xs)≠P(Xt)，源域和目標(biāo)域的邊際概率分布不同，例如，兩個(gè)文檔有著不同的主題。這種情況通常被稱為域適應(yīng)（domain adaptation）。

P（Ys|Xs）≠P（Yt|Xt），源任務(wù)和目標(biāo)任務(wù)的條件概率分布不同，例如，兩個(gè)不同數(shù)據(jù)集的標(biāo)簽規(guī)則是不一樣的。

YS≠YT，兩個(gè)任務(wù)的標(biāo)簽空間不同，例如源域是二分類問題，目標(biāo)域是 4 分類問題，因?yàn)椴煌娜蝿?wù)擁有不同的標(biāo)簽空間，但是擁有相同的條件概率分布，這是極其罕見的。

借用一張之前自己做的幻燈片：

4.遷移學(xué)習(xí)的四種常見解決方法：

四種方法分別為：基于樣本的遷移學(xué)習(xí)、基于特征的遷移學(xué)習(xí)、基于參數(shù)/特征的遷移學(xué)習(xí)和基于關(guān)系的遷移學(xué)習(xí)。

（1） 基于樣本的遷移學(xué)習(xí)

第一種為樣本遷移，就是在數(shù)據(jù)集（源領(lǐng)域）中找到與目標(biāo)領(lǐng)域相似的數(shù)據(jù)，把這個(gè)數(shù)據(jù)的權(quán)值進(jìn)行調(diào)整，使得新的數(shù)據(jù)與目標(biāo)領(lǐng)域的數(shù)據(jù)進(jìn)行匹配（將分布變成相同）。樣本遷移的特點(diǎn)是：1）需要對不同例子加權(quán)；2）需要用數(shù)據(jù)進(jìn)行訓(xùn)練，上圖的例子就是找到源領(lǐng)域的例子 3，然后加重該樣本的權(quán)值，使得在預(yù)測目標(biāo)領(lǐng)域時(shí)的比重加大。

（2） 基于特征的遷移學(xué)習(xí)

第二種為特征遷移，就是通過觀察源領(lǐng)域圖像與目標(biāo)域圖像之間的共同特征，然后利用觀察所得的共同特征在不同層級(jí)的特征間進(jìn)行自動(dòng)遷移，上圖左側(cè)的例子就是找當(dāng)兩種狗在不同層級(jí)上的共同特征，然后進(jìn)行預(yù)測。

（3） 基于參數(shù)/模型的遷移學(xué)習(xí)

第三種為模型遷移，其原理時(shí)利用上千萬的狗狗圖象訓(xùn)練一個(gè)識(shí)別系統(tǒng)，當(dāng)我們遇到一個(gè)新的狗狗圖象領(lǐng)域，就不用再去找?guī)浊f個(gè)圖象來訓(xùn)練了，可以原來的圖像識(shí)別系統(tǒng)遷移到新的領(lǐng)域，所以在新的領(lǐng)域只用幾萬張圖片同樣能夠獲取相同的效果。模型遷移的一個(gè)好處是我們可以區(qū)分，就是可以和深度學(xué)習(xí)結(jié)合起來，我們可以區(qū)分不同層次可遷移的度，相似度比較高的那些層次他們被遷移的可能性就大一些。

（4） 基于關(guān)系的遷移學(xué)習(xí)

這種關(guān)系的遷移，我研究的較少，定義說明是可以將兩個(gè)相關(guān)域之間的相關(guān)性知識(shí)建立一個(gè)映射，例如源域有皇帝、皇后，那么就可以對目標(biāo)域的男和女之間建立這種關(guān)系，一般用在社會(huì)網(wǎng)絡(luò)，社交網(wǎng)絡(luò)之間的遷移上比較多。

遷移學(xué)習(xí)主要可以解決兩大類問題：小數(shù)據(jù)問題和個(gè)性化問題。

小數(shù)據(jù)問題：比方說我們新開一個(gè)網(wǎng)店，賣一種新的糕點(diǎn)，我們沒有任何的數(shù)據(jù)，就無法建立模型對用戶進(jìn)行推薦。但用戶買一個(gè)東西會(huì)反應(yīng)到用戶可能還會(huì)買另外一個(gè)東西，所以如果知道用戶在另外一個(gè)領(lǐng)域，比方說賣飲料，已經(jīng)有了很多很多的數(shù)據(jù)，利用這些數(shù)據(jù)建一個(gè)模型，結(jié)合用戶買飲料的習(xí)慣和買糕點(diǎn)的習(xí)慣的關(guān)聯(lián)，我們就可以把飲料的推薦模型給成功地遷移到糕點(diǎn)的領(lǐng)域，這樣，在數(shù)據(jù)不多的情況下可以成功推薦一些用戶可能喜歡的糕點(diǎn)。這個(gè)例子就說明，我們有兩個(gè)領(lǐng)域，一個(gè)領(lǐng)域已經(jīng)有很多的數(shù)據(jù)，能成功地建一個(gè)模型，有一個(gè)領(lǐng)域數(shù)據(jù)不多，但是和前面那個(gè)領(lǐng)域是關(guān)聯(lián)的，就可以把那個(gè)模型給遷移過來。

個(gè)性化問題：比如我們每個(gè)人都希望自己的手機(jī)能夠記住一些習(xí)慣，這樣不用每次都去設(shè)定它，我們怎么才能讓手機(jī)記住這一點(diǎn)呢？其實(shí)可以通過遷移學(xué)習(xí)把一個(gè)通用的用戶使用手機(jī)的模型遷移到個(gè)性化的數(shù)據(jù)上面。我想這種情況以后會(huì)越來越多。

1. 我到底是什么顏色？

大家一看這幅圖就知道，這里以此前網(wǎng)上流行的一個(gè)連衣裙圖片為例。如圖所示，如果你想通過深度學(xué)習(xí)判斷這條裙子到底是藍(lán)黑條紋還是白金條紋，那就必須收集大量的包含藍(lán)黑條紋或者白金條紋的裙子的圖像數(shù)據(jù)。參考上文提到的問題規(guī)模和參數(shù)規(guī)模之間的對應(yīng)關(guān)系，建立這樣一個(gè)精準(zhǔn)的圖像識(shí)別模型至少需要 140M 個(gè)參數(shù)，1.2M 張相關(guān)的圖像訓(xùn)練數(shù)據(jù)，這幾乎是一個(gè)不可能完成的任務(wù)。

現(xiàn)在引入遷移學(xué)習(xí)，用如下公式可以得到在遷移學(xué)習(xí)中這個(gè)模型所需的參數(shù)個(gè)數(shù)：

No. of parameters = [Size(inputs) 1][Size(outputs) 1] = [2048 1][1 1]~4098parameters

可以看到，通過遷移學(xué)習(xí)的引入，針對同一個(gè)問題的參數(shù)個(gè)數(shù)從**140M 減少到了 4098**，減少了 10 的 5 次方個(gè)數(shù)量級(jí)！這樣的對參數(shù)和訓(xùn)練數(shù)據(jù)的消減程度是驚人的。

這里給大家介紹一個(gè)遷移學(xué)習(xí)的工具 NanoNets，它是一個(gè)簡單方便的基于云端實(shí)現(xiàn)的遷移學(xué)習(xí)工具，其內(nèi)部包含了一組已經(jīng)實(shí)現(xiàn)好的預(yù)訓(xùn)練模型，每個(gè)模型有數(shù)百萬個(gè)訓(xùn)練好的參數(shù)。用戶可以自己上傳或通過網(wǎng)絡(luò)搜索得到數(shù)據(jù)，NanoNets 將自動(dòng)根據(jù)待解問題選擇最佳的預(yù)訓(xùn)練模型，并根據(jù)該模型建立一個(gè) NanoNets（納米網(wǎng)絡(luò)），并將之適配到用戶的數(shù)據(jù)。以上文提到的藍(lán)黑條紋還是白金條紋的連衣裙為例，用戶只需要選擇待分類的名稱，然后自己上傳或者網(wǎng)絡(luò)搜索訓(xùn)練數(shù)據(jù)，之后 NanoNets 就會(huì)自動(dòng)適配預(yù)訓(xùn)練模型，并生成用于測試的 web 頁面和用于進(jìn)一步開發(fā)的 API 接口。如下所示，圖中為系統(tǒng)根據(jù)一張連衣裙圖片給出的分析結(jié)果。具體使用方法詳見 NanoNets 官網(wǎng)：http://nanonets.ai/。

2. Deepmind 的作品 progressive neural network（機(jī)器人）

Google 的 Deepmind 向來是大家關(guān)注的熱點(diǎn)，就在去年，其將三個(gè)小游戲 Pong, Labyrinth, Atari 通過將已學(xué)其一的游戲的 parameter 通過一個(gè) lateral connection feed 到一個(gè)新游戲。外墻的可以看 youtub 的視頻：https://www.youtube.com/watch?v=aWAP_CWEtSI，與此同時(shí)，DeepMind 最新的成果Progressive Neural Networks終于伸向真正的機(jī)器人了！

它做了什么事情呢？就是在仿真環(huán)境中訓(xùn)練一個(gè)機(jī)械臂移動(dòng)，然后訓(xùn)練好之后，可以把知識(shí)遷移到真實(shí)的機(jī)械臂上，真實(shí)的機(jī)械臂稍加訓(xùn)練也可以做到和仿真一樣的效果！視頻在這：https://www.youtube.com/watch?v=YZz5Io_ipi8

3. 輿情分析

遷移學(xué)習(xí)也可應(yīng)用在輿情分析中，如用戶評(píng)價(jià)方面。以電子產(chǎn)品和視頻游戲留言為例，上圖中綠色為好評(píng)標(biāo)簽，而紅色為差評(píng)標(biāo)簽。我們可以從上圖左側(cè)的電子產(chǎn)品評(píng)價(jià)中找到特征，促使它在這個(gè)領(lǐng)域（電子產(chǎn)品評(píng)價(jià)）建立模型，然后利用模型把其遷移到視頻游戲中。這里可以看到，輿情也可以進(jìn)行大規(guī)模的遷移，而且在新的領(lǐng)域不需要標(biāo)簽。

4. 個(gè)性化對話

訓(xùn)練一個(gè)通用型的對話系統(tǒng)，該系統(tǒng)可能是閑聊型，也可能是一個(gè)任務(wù)型的。但是，我們可以根據(jù)在特定領(lǐng)域的小數(shù)據(jù)修正它，使得這個(gè)對話系統(tǒng)適應(yīng)不同任務(wù)。比如，一個(gè)用戶想買咖啡，他并不想回答所有繁瑣的問題，例如是要大杯小杯，熱的冷的？

5. 基于遷移學(xué)習(xí)的推薦系統(tǒng)

在線推薦系統(tǒng)中利用遷移學(xué)習(xí)，可以在某個(gè)領(lǐng)域做好一個(gè)推薦系統(tǒng)，然后應(yīng)用在稀疏的、新的垂直領(lǐng)域。（影像資料——>書籍資料）

6. 遷移學(xué)習(xí)在股票中的預(yù)測

香港科技大學(xué)楊強(qiáng)教授的學(xué)生就把遷移學(xué)習(xí)應(yīng)用到大家公認(rèn)的很難的領(lǐng)域中——預(yù)測股市走勢。下圖所示為 A 股里面的某個(gè)股票，用過去十年的數(shù)據(jù)訓(xùn)練該模型。首先，運(yùn)用數(shù)據(jù)之間的連接，產(chǎn)生不同的狀態(tài)，讓各個(gè)狀態(tài)之間能夠互相遷移。其次，不同狀態(tài)之間將發(fā)生變化，他們用了一個(gè)強(qiáng)化學(xué)習(xí)器模擬這種變化。最后，他們發(fā)現(xiàn)深度學(xué)習(xí)的隱含層里面會(huì)自動(dòng)產(chǎn)生幾百個(gè)狀態(tài)，基本就能夠?qū)@十年來的經(jīng)濟(jì)狀況做出一個(gè)很完善的總結(jié)。

楊強(qiáng)教授也表示，這個(gè)例子只是在金融領(lǐng)域的一個(gè)小小的試驗(yàn)。不過，一旦我們對一個(gè)領(lǐng)域有了透徹的了解，并掌握更多的高質(zhì)量數(shù)據(jù)，就可以將人工智能技術(shù)遷移到這個(gè)領(lǐng)域來，在應(yīng)用過程中對所遇到的問題作清晰的定義，最終能夠?qū)崿F(xiàn)通用型人工智能的目的。

遷移學(xué)習(xí)的應(yīng)用越來越廣泛，這里僅僅介紹了冰山一角，例如生物基因檢測、異常檢測、疾病預(yù)測、圖像識(shí)別等等。

當(dāng)今全世界都在推動(dòng)遷移學(xué)習(xí)，當(dāng)今 AAAI 中大概有 20 多篇遷移學(xué)習(xí)相關(guān)文章，而往年只有五六篇。與此同時(shí)，如吳恩達(dá)等深度學(xué)習(xí)代表人物也開始做遷移學(xué)習(xí)。正如吳恩達(dá)在 NIPS 2016 講座上畫了一副草圖，大致的意思如下圖所示：

有一點(diǎn)是毋庸置疑的：迄今為止，機(jī)器學(xué)習(xí)在業(yè)界的應(yīng)用和成功，主要由監(jiān)督學(xué)習(xí)推動(dòng)。而這又是建立在深度學(xué)習(xí)的進(jìn)步、更強(qiáng)大的計(jì)算設(shè)施、做了標(biāo)記的大型數(shù)據(jù)集的基礎(chǔ)上。近年來，這一波公眾對人工智能技術(shù)的關(guān)注、投資收購浪潮、機(jī)器學(xué)習(xí)在日常生活中的商業(yè)應(yīng)用，主要是由監(jiān)督學(xué)習(xí)來引領(lǐng)。但是，該圖在吳恩達(dá)眼中是推動(dòng)機(jī)器學(xué)習(xí)取得商業(yè)化成績的主要驅(qū)動(dòng)技術(shù)，而且從中可以看出，吳恩達(dá)認(rèn)為下一步將是遷移學(xué)習(xí)的商業(yè)應(yīng)用大爆發(fā)。

最后，借鑒香港科技大學(xué)計(jì)算機(jī)與工程系主任，全球第一位華人 AAAI Fellow 楊強(qiáng)教授在 2016 年底騰訊暨 KDD China 大數(shù)據(jù)峰會(huì)上的一頁膠片來作為結(jié)束。

昨天我們在深度學(xué)習(xí)上有著很高成就。但我們發(fā)現(xiàn)深度學(xué)習(xí)在有即時(shí)反饋的領(lǐng)域和應(yīng)用方向有著一定的優(yōu)勢，但在其他領(lǐng)域則不行。打個(gè)比方：就像我在今天講個(gè)笑話，你第二天才能笑得出來，在今天要解決這種反饋的時(shí)延問題需要強(qiáng)化學(xué)習(xí)來做。而在明天，則有更多的地方需要遷移學(xué)習(xí)：它會(huì)讓機(jī)器學(xué)習(xí)在這些非常珍貴的大數(shù)據(jù)和小數(shù)據(jù)上的能力全部釋放出來。做到舉一反三，融會(huì)貫通。

打個(gè)小廣告，由于自己本人希望在遷移學(xué)習(xí)方向上長期研究和學(xué)習(xí)，因此申請了一個(gè)"遷移學(xué)習(xí)"的公眾號(hào)，每周會(huì)推送遷移學(xué)習(xí)的技術(shù)和學(xué)術(shù)干貨，同時(shí)對自己也是一種監(jiān)督，也希望在學(xué)習(xí)和分享的過程中遇到同路人，共同交流和進(jìn)步，請大家多多支持。