5.決策樹易于解釋。它可以毫無壓力地處理特征間的交互關(guān)系并且是非參數(shù)化的，因此你不必?fù)?dān)心異常值或者數(shù)據(jù)是否線性可分（舉個(gè)例子，決策樹能輕松處理好類別A在某個(gè)特征維度x的末端，類別B在中間，然后類別A又出現(xiàn)在特征維度x前端的情況）。它的缺點(diǎn)之一就是不支持在線學(xué)習(xí)，于是在新樣本到來后，決策樹需要全部重建。另一個(gè)缺點(diǎn)就是容易出現(xiàn)過擬合，但這也就是諸如隨機(jī)森林RF（或提升樹boostedtree）之類的集成方法的切入點(diǎn)。另外，隨機(jī)森林經(jīng)常是很多分類問題的贏家（通常比支持向量機(jī)好上那么一丁點(diǎn)），它訓(xùn)練快速并且可調(diào)，同時(shí)你無須擔(dān)心要像支持向量機(jī)那樣調(diào)一大堆參數(shù)，所以在以前都一直很受歡迎。決策樹...

（1）決策樹決策樹歸納是經(jīng)典的分類算法。它采用自頂向下遞歸的各個(gè)擊破方式構(gòu)造決策樹。樹的每一個(gè)結(jié)點(diǎn)上使用信息增益度量選擇測(cè)試屬性?？梢詮纳傻臎Q策樹中提取規(guī)則。(2)KNN法(K-NearestNeighbor)KNN法即K**近鄰法，**初由Cover和Hart于1968年提出的，是一個(gè)理論上比較成熟的方法。該方法的思路非常簡(jiǎn)單直觀：如果一個(gè)樣本在特征空間中的k個(gè)**相似(即特征空間中**鄰近)的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別。該方法在定類決策上只依據(jù)**鄰近的一個(gè)或者幾個(gè)樣本的類別來決定待分樣本所屬的類別。KNN方法雖然從原理上也依賴于極限定理，但在類別決...

步驟4：訓(xùn)練大部分人都認(rèn)為這個(gè)是**重要的部分，其實(shí)并非如此~數(shù)據(jù)數(shù)量和質(zhì)量、還有模型的選擇比訓(xùn)練本身重要更多（訓(xùn)練知識(shí)臺(tái)上的3分鐘，更重要的是臺(tái)下的10年功）。這個(gè)過程就不需要人來參與的，機(jī)器**就可以完成，整個(gè)過程就好像是在做算術(shù)題。因?yàn)闄C(jī)器學(xué)習(xí)的本質(zhì)就是將問題轉(zhuǎn)化為數(shù)學(xué)問題，然后解答數(shù)學(xué)題的過程。步驟5：評(píng)估一旦訓(xùn)練完成，就可以評(píng)估模型是否有用。這是我們之前預(yù)留的驗(yàn)證集和測(cè)試集發(fā)揮作用的地方。評(píng)估的指標(biāo)主要有準(zhǔn)確率、召回率、F值。這個(gè)過程可以讓我們看到模型如何對(duì)尚未看到的數(shù)是如何做預(yù)測(cè)的。這意味著**模型在現(xiàn)實(shí)世界中的表現(xiàn)。步驟6：參數(shù)調(diào)整完成評(píng)估后，您可能希望了解是否可以以...

5.決策樹易于解釋。它可以毫無壓力地處理特征間的交互關(guān)系并且是非參數(shù)化的，因此你不必?fù)?dān)心異常值或者數(shù)據(jù)是否線性可分（舉個(gè)例子，決策樹能輕松處理好類別A在某個(gè)特征維度x的末端，類別B在中間，然后類別A又出現(xiàn)在特征維度x前端的情況）。它的缺點(diǎn)之一就是不支持在線學(xué)習(xí)，于是在新樣本到來后，決策樹需要全部重建。另一個(gè)缺點(diǎn)就是容易出現(xiàn)過擬合，但這也就是諸如隨機(jī)森林RF（或提升樹boostedtree）之類的集成方法的切入點(diǎn)。另外，隨機(jī)森林經(jīng)常是很多分類問題的贏家（通常比支持向量機(jī)好上那么一丁點(diǎn)），它訓(xùn)練快速并且可調(diào)，同時(shí)你無須擔(dān)心要像支持向量機(jī)那樣調(diào)一大堆參數(shù)，所以在以前都一直很受歡迎。決策樹...

在統(tǒng)計(jì)學(xué)習(xí)框架下，大家刻畫模型復(fù)雜度的時(shí)候，有這么個(gè)觀點(diǎn)，認(rèn)為Error=Bias+Variance。這里的Error大概可以理解為模型的預(yù)測(cè)錯(cuò)誤率，是有兩部分組成的，一部分是由于模型太簡(jiǎn)單而帶來的估計(jì)不準(zhǔn)確的部分（Bias），另一部分是由于模型太復(fù)雜而帶來的更大的變化空間和不確定性（Variance）。所以，這樣就容易分析樸素貝葉斯了。它簡(jiǎn)單的假設(shè)了各個(gè)數(shù)據(jù)之間是無關(guān)的，是一個(gè)被嚴(yán)重簡(jiǎn)化了的模型。所以，對(duì)于這樣一個(gè)簡(jiǎn)單模型，大部分場(chǎng)合都會(huì)Bias部分大于Variance部分，也就是說高偏差而低方差。在實(shí)際中，為了讓Error盡量小，我們?cè)谶x擇模型的時(shí)候需要平衡Bias和Varia...

1. 回歸回歸是一種監(jiān)督機(jī)器學(xué)習(xí)方法，在先前數(shù)據(jù)的基礎(chǔ)上預(yù)測(cè)或解釋特定數(shù)值。例如要想知道某房產(chǎn)的價(jià)值，可根據(jù)與之相似房產(chǎn)的定價(jià)來預(yù)測(cè)。線性回歸是**簡(jiǎn)單的回歸方法，用直線方程(y = m * x + b)來模擬數(shù)據(jù)集。通過計(jì)算直線的位置和斜率得到具有許多數(shù)據(jù)對(duì)（x，y）的線性回歸模型，在該直線上，所有數(shù)據(jù)點(diǎn)到它的距離之和**小。換言之，計(jì)算的是**接近數(shù)據(jù)中觀測(cè)值的那條線的斜率(m)和y截距(b)。接著再來看一些具體的線性回歸例子。將建筑物的年齡、樓層數(shù)、面積（平方英尺）和墻上插入式設(shè)備的數(shù)量這些數(shù)據(jù)匯總在一起，用線性回歸方法來預(yù)測(cè)該建筑物的耗能情況（以千瓦時(shí)為單位）。由于有多種輸入值（年齡，...

降低維度算法像聚類算法一樣，降低維度算法試圖分析數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，不過降低維度算法是以非監(jiān)督學(xué)習(xí)的方式試圖利用較少的信息來歸納或者解釋數(shù)據(jù)。這類算法可以用于高維數(shù)據(jù)的可視化或者用來簡(jiǎn)化數(shù)據(jù)以便監(jiān)督式學(xué)習(xí)使用。常見的算法包括：主成份分析（PrincipleComponentAnalysis，PCA），偏**小二乘回歸（PartialLeastSquareRegression，PLS），Sammon映射，多維尺度（Multi-DimensionalScaling,MDS）,投影追蹤（ProjectionPursuit）等。集成算法集成算法用一些相對(duì)較弱的學(xué)習(xí)模型**地就同樣的樣本進(jìn)行訓(xùn)練...

4.降維顧名思義，降維可用來刪除數(shù)據(jù)集中**不重要的數(shù)據(jù)。實(shí)踐中常會(huì)遇到包含數(shù)百甚至數(shù)千列（也稱為特征）的數(shù)據(jù)集，因此減少總量至關(guān)重要。例如，圖像中數(shù)千個(gè)像素中并不是所有的都要分析；或是在制造過程中要測(cè)試微芯片時(shí)，如果對(duì)每個(gè)芯片都進(jìn)行測(cè)試也許需要數(shù)千次測(cè)試，但其實(shí)其中很多芯片提供的信息是多余的。在這些情況下，就需要運(yùn)用降維算法以便對(duì)數(shù)據(jù)集進(jìn)行管理。主成分分析（PCA）是**常用的降維方法，通過找出比較大化數(shù)據(jù)線性變化的新向量來減小特征空間的維數(shù)。在數(shù)據(jù)的線性相關(guān)性很強(qiáng)時(shí)，主成分分析法可以***減小數(shù)據(jù)的維度，且不會(huì)丟失太多信息。（其實(shí)，還可以衡量信息丟失的實(shí)際程度并進(jìn)行相應(yīng)調(diào)整。）...

非監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)中，給定的數(shù)據(jù)集沒有“正確答案”，所有的數(shù)據(jù)都是一樣的。無監(jiān)督學(xué)習(xí)的任務(wù)是從給定的數(shù)據(jù)集中，挖掘出潛在的結(jié)構(gòu)。舉個(gè)栗子：我們把一堆貓和狗的照片給機(jī)器，不給這些照片打任何標(biāo)簽，但是我們希望機(jī)器能夠?qū)⑦@些照片分分類。將不打標(biāo)簽的照片給機(jī)器通過學(xué)習(xí)，機(jī)器會(huì)把這些照片分為2類，一類都是貓的照片，一類都是狗的照片。雖然跟上面的監(jiān)督學(xué)習(xí)看上去結(jié)果差不多，但是有著本質(zhì)的差別：非監(jiān)督學(xué)習(xí)中，雖然照片分為了貓和狗，但是機(jī)器并不知道哪個(gè)是貓，哪個(gè)是狗。對(duì)于機(jī)器來說，相當(dāng)于分成了A、B兩類。 深度智谷深度人工智能學(xué)院四川機(jī)器學(xué)習(xí)培訓(xùn)班哪個(gè)好 7.遷移學(xué)習(xí)假設(shè)你是個(gè)零售業(yè)的數(shù)據(jù)科學(xué)...

強(qiáng)化學(xué)習(xí)：在這種學(xué)習(xí)模式下，輸入數(shù)據(jù)作為對(duì)模型的反饋，不像監(jiān)督模型那樣，輸入數(shù)據(jù)**是作為一個(gè)檢查模型對(duì)錯(cuò)的方式，在強(qiáng)化學(xué)習(xí)下，輸入數(shù)據(jù)直接反饋到模型，模型必須對(duì)此立刻作出調(diào)整。常見的應(yīng)用場(chǎng)景包括動(dòng)態(tài)系統(tǒng)以及機(jī)器人控制等。常見算法包括Q-Learning以及時(shí)間差學(xué)習(xí)（Temporaldifferencelearning）在企業(yè)數(shù)據(jù)應(yīng)用的場(chǎng)景下，人們**常用的可能就是監(jiān)督式學(xué)習(xí)和非監(jiān)督式學(xué)習(xí)的模型。在圖像識(shí)別等領(lǐng)域，由于存在大量的非標(biāo)識(shí)的數(shù)據(jù)和少量的可標(biāo)識(shí)數(shù)據(jù)，目前半監(jiān)督式學(xué)習(xí)是一個(gè)很熱的話題。而強(qiáng)化學(xué)習(xí)更多的應(yīng)用在機(jī)器人控制及其他需要進(jìn)行系統(tǒng)控制的領(lǐng)域。算法類似性根據(jù)算法的功能和...

為什么說樸素貝葉斯是高偏差低方差?以下內(nèi)容引自知乎：首先，假設(shè)你知道訓(xùn)練集和測(cè)試集的關(guān)系。簡(jiǎn)單來講是我們要在訓(xùn)練集上學(xué)習(xí)一個(gè)模型，然后拿到測(cè)試集去用，效果好不好要根據(jù)測(cè)試集的錯(cuò)誤率來衡量。但很多時(shí)候，我們只能假設(shè)測(cè)試集和訓(xùn)練集的是符合同一個(gè)數(shù)據(jù)分布的，但卻拿不到真正的測(cè)試數(shù)據(jù)。這時(shí)候怎么在只看到訓(xùn)練錯(cuò)誤率的情況下，去衡量測(cè)試錯(cuò)誤率呢？由于訓(xùn)練樣本很少（至少不足夠多），所以通過訓(xùn)練集得到的模型，總不是真正正確的。（就算在訓(xùn)練集上正確率100%，也不能說明它刻畫了真實(shí)的數(shù)據(jù)分布，要知道刻畫真實(shí)的數(shù)據(jù)分布才是我們的目的，而不是只刻畫訓(xùn)練集的有限的數(shù)據(jù)點(diǎn)）。而且，實(shí)際中，訓(xùn)練樣本往往還有一...

人類一直試圖讓機(jī)器具有智能，也就是人工智能（ArtificialIntelligence）。從上世紀(jì)50年代，人工智能的發(fā)展經(jīng)歷了“推理期”，通過賦予機(jī)器邏輯推理能力使機(jī)器獲得智能，當(dāng)時(shí)的AI程序能夠證明一些***的數(shù)學(xué)定理，但由于機(jī)器缺乏知識(shí)，遠(yuǎn)不能實(shí)現(xiàn)真正的智能。因此，70年代，人工智能的發(fā)展進(jìn)入“知識(shí)期”，即將人類的知識(shí)總結(jié)出來教給機(jī)器，使機(jī)器獲得智能。在這一時(shí)期，大量的**系統(tǒng)問世，在很多領(lǐng)域取得大量成果，但由于人類知識(shí)量巨大，故出現(xiàn)“知識(shí)工程瓶頸”。\quad無論是“推理期”還是“知識(shí)期”，機(jī)器都是按照人類設(shè)定的規(guī)則和總結(jié)的知識(shí)運(yùn)作，永遠(yuǎn)無法超越其創(chuàng)造者，其次人力成本太高...

第四步：數(shù)據(jù)集實(shí)操雖然有了系統(tǒng)化流程和相關(guān)工具，仍需要多加練習(xí)，方能生巧。在標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)數(shù)據(jù)集上的實(shí)踐。使用真實(shí)的數(shù)據(jù)集，從實(shí)際問題領(lǐng)域收集（而不是人為虛構(gòu)的）。使用適合的內(nèi)存或Excel電子表格的小型數(shù)據(jù)集。使用易于理解的數(shù)據(jù)集，以便了解期望的結(jié)果類型。練習(xí)不同類型的數(shù)據(jù)集，練習(xí)一些讓你不喜歡的問題，因?yàn)槟銓⒉坏貌惶岣呒夹g(shù)來獲得解決方案。在數(shù)據(jù)問題中找出不同的特征，例如：不同類型的監(jiān)督學(xué)習(xí)，如分類和回歸。從數(shù)十，數(shù)百，數(shù)千和數(shù)百萬個(gè)實(shí)例的不同大小的數(shù)據(jù)集。不到十個(gè)，幾十個(gè)，幾百個(gè)和幾千個(gè)屬性的不同數(shù)量的屬性。來自實(shí)數(shù)，整數(shù)，分類，序數(shù)和混合的不同屬性類型。不同的領(lǐng)域，迫使你迅速理...

KNNk臨近算法遍歷所有訓(xùn)練樣本，求距離**近的點(diǎn)的結(jié)論，作為***的預(yù)測(cè)結(jié)果MR版：map求樣本距離（key：樣本，value：距離），combine求的**小值，是過濾功能，reduce就有一個(gè)求得距離**小值貝葉斯：貝葉斯定理公式：P(A|B)=P(B|A)*P(A)/P(B)貝葉斯將在屬性條件下的結(jié)論的概率轉(zhuǎn)為：在結(jié)論條件下屬性的概率的乘積*結(jié)論的概率求得樣本屬性的在結(jié)論上的出現(xiàn)次數(shù)，樣本結(jié)論的次數(shù)，商就是P(B|A)MR版：map求拼接keyvalue（key：屬性-結(jié)論|結(jié)論，value：1）combine求和（key：屬性-結(jié)論|結(jié)論，value：count）redu...

機(jī)器學(xué)習(xí)、人工智能、深度學(xué)習(xí)是什么關(guān)系？1956年提出AI概念，短短3年后（1959）ArthurSamuel就提出了機(jī)器學(xué)習(xí)的概念：Fieldofstudythatgivescomputerstheabilitytolearnwithoutbeingexplicitlyprogrammed.機(jī)器學(xué)習(xí)研究和構(gòu)建的是一種特殊算法（而非某一個(gè)特定的算法），能夠讓計(jì)算機(jī)自己在數(shù)據(jù)中學(xué)習(xí)從而進(jìn)行預(yù)測(cè)。所以，機(jī)器學(xué)習(xí)不是某種具體的算法，而是很多算法的統(tǒng)稱。機(jī)器學(xué)習(xí)包含了很多種不同的算法，深度學(xué)習(xí)就是其中之一，其他方法包括決策樹，聚類，貝葉斯等。深度學(xué)習(xí)的靈感來自大腦的結(jié)構(gòu)和功能，即許多神經(jīng)元...

KNNk臨近算法遍歷所有訓(xùn)練樣本，求距離**近的點(diǎn)的結(jié)論，作為***的預(yù)測(cè)結(jié)果MR版：map求樣本距離（key：樣本，value：距離），combine求的**小值，是過濾功能，reduce就有一個(gè)求得距離**小值貝葉斯：貝葉斯定理公式：P(A|B)=P(B|A)*P(A)/P(B)貝葉斯將在屬性條件下的結(jié)論的概率轉(zhuǎn)為：在結(jié)論條件下屬性的概率的乘積*結(jié)論的概率求得樣本屬性的在結(jié)論上的出現(xiàn)次數(shù)，樣本結(jié)論的次數(shù)，商就是P(B|A)MR版：map求拼接keyvalue（key：屬性-結(jié)論|結(jié)論，value：1）combine求和（key：屬性-結(jié)論|結(jié)論，value：count）redu...

5.集成方法假設(shè)你對(duì)市面上的自行車都不滿意，打算自己制作一輛，也許會(huì)從尋找各個(gè)比較好的零件開始，然后**終會(huì)組裝出一輛比較好的自行車。集成方法也是利用這一原理，將幾個(gè)預(yù)測(cè)模型（監(jiān)督式機(jī)器學(xué)習(xí)方法）組合起來從而得到比單個(gè)模型能提供的更高質(zhì)量的預(yù)測(cè)結(jié)果。隨機(jī)森林算法就是一種**方法，結(jié)合了許多用不同數(shù)據(jù)集樣本訓(xùn)練的決策樹。因此，隨機(jī)森林的預(yù)測(cè)質(zhì)量會(huì)高于單個(gè)決策樹的預(yù)測(cè)質(zhì)量。集成方法可理解為一種減小單個(gè)機(jī)器學(xué)習(xí)模型的方差和偏差的方法。任何給定的模型在某些條件下可能是準(zhǔn)確的，但在其他條件下有可能不準(zhǔn)確，因此這種方法十分重要。如果換用另一個(gè)模型，相對(duì)精度可能會(huì)更低。而組合這兩個(gè)模型，就可以平...

，每個(gè)模型都是基于上一次模型的錯(cuò)誤率來建立的，過分關(guān)注分錯(cuò)的樣本，而對(duì)正確分類的樣本減少關(guān)注度，逐次迭代之后，可以得到一個(gè)相對(duì)較好的模型。是一種典型的boosting算法。下面是總結(jié)下它的優(yōu)缺點(diǎn)。優(yōu)點(diǎn)adaboost是一種有很高精度的分類器?？梢允褂酶鞣N方法構(gòu)建子分類器，Adaboost算法提供的是框架。當(dāng)使用簡(jiǎn)單分類器時(shí)，計(jì)算出的結(jié)果是可以理解的，并且弱分類器的構(gòu)造極其簡(jiǎn)單。簡(jiǎn)單，不用做特征篩選。不容易發(fā)生overfitting。關(guān)于隨機(jī)森林和GBDT等組合算法，參考這篇文章：機(jī)器學(xué)習(xí)-組合算法總結(jié)缺點(diǎn)：對(duì)outlier比較敏感，為避免過擬合提供了很好的理論保證，而且就算數(shù)據(jù)在原...

7.遷移學(xué)習(xí)假設(shè)你是個(gè)零售業(yè)的數(shù)據(jù)科學(xué)家，已經(jīng)花了幾個(gè)月的時(shí)間訓(xùn)練高質(zhì)量模型，用來將圖像分為襯衫、T恤和Polo衫這三類。新任務(wù)是建一個(gè)類似的模型，把服裝圖像分為牛仔褲、工裝褲、休閑褲和正裝褲這幾類。那么能不能把***個(gè)模型中已建立的知識(shí)轉(zhuǎn)移到第二個(gè)模型中呢？當(dāng)然可以，遷移學(xué)習(xí)可以做到。遷移學(xué)習(xí)是指重復(fù)使用先前訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的一部分，并使其適應(yīng)類似的新任務(wù)。具體來說就是，使用先前任務(wù)中訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)，可以傳輸一小部分訓(xùn)練過的圖層，并將它們與用于新任務(wù)數(shù)據(jù)訓(xùn)練的幾個(gè)圖層組合在一起。通過添加圖層，新的神經(jīng)網(wǎng)絡(luò)就能快速學(xué)習(xí)并適應(yīng)新的任務(wù)。遷移學(xué)習(xí)的主要優(yōu)點(diǎn)是訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)較少，...

4.**近領(lǐng)算法——KNNKNN即**近鄰算法，其主要過程為：1.計(jì)算訓(xùn)練樣本和測(cè)試樣本中每個(gè)樣本點(diǎn)的距離（常見的距離度量有歐式距離，馬氏距離等）；2.對(duì)上面所有的距離值進(jìn)行排序；3.選前k個(gè)**小距離的樣本；4.根據(jù)這k個(gè)樣本的標(biāo)簽進(jìn)行投票，得到***的分類類別；如何選擇一個(gè)比較好的K值，這取決于數(shù)據(jù)。一般情況下，在分類時(shí)較大的K值能夠減小噪聲的影響。但會(huì)使類別之間的界限變得模糊。一個(gè)較好的K值可通過各種啟發(fā)式技術(shù)來獲取，比如，交叉驗(yàn)證。另外噪聲和非相關(guān)性特征向量的存在會(huì)使K近鄰算法的準(zhǔn)確性減小。近鄰算法具有較強(qiáng)的一致性結(jié)果。隨著數(shù)據(jù)趨于無限，算法保證錯(cuò)誤率不會(huì)超過貝葉斯算法錯(cuò)誤...

機(jī)器學(xué)習(xí)背后的**思想是，設(shè)計(jì)程序使得它可以在執(zhí)行的時(shí)候提升它在某任務(wù)上的能力，而不是有著固定行為的程序。機(jī)器學(xué)習(xí)包括多種問題的定義，提供很多不同的算法，能解決不同領(lǐng)域的各種問題。我們之前講到的是一個(gè)講監(jiān)督學(xué)習(xí)應(yīng)用到語言識(shí)別的例子。正因?yàn)闄C(jī)器學(xué)習(xí)提供多種工具可以利用數(shù)據(jù)來解決簡(jiǎn)單規(guī)則不能或者難以解決的問題，它被廣泛應(yīng)用在了搜索引擎、無人駕駛、機(jī)器翻譯、醫(yī)療診斷、垃圾郵件過濾、玩游戲、人臉識(shí)別、數(shù)據(jù)匹配、信用評(píng)級(jí)和給圖片加濾鏡等任務(wù)中。雖然這些問題各式各樣，但他們有著共同的模式從而可以被機(jī)器學(xué)習(xí)模型解決。**常見的描述這些問題的方法是通過數(shù)學(xué)，但不像其他機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的書那樣，我...