升級版V的內(nèi)容特色：
1.每個算法模塊按照“原理講解→分析數(shù)據(jù)→自己動手實現(xiàn)→特征與調(diào)參”的順序，“原理加實踐，頂天立地”。
2.拒絕簡單的“調(diào)包”——增加3次“機器學習的角度看數(shù)學”和3次“Python數(shù)據(jù)清洗和特征提取”，提升學習深度、降低學習坡度。
3.增加網(wǎng)絡爬蟲的原理和編寫，從獲取數(shù)據(jù)開始，重視將實踐問題轉(zhuǎn)換成實際模型的能力，分享工作中的實際案例或Kaggle案例：廣告銷量分析、環(huán)境數(shù)據(jù)異常檢測和分析、數(shù)字圖像手寫體識別、Titanic乘客存活率預測、用戶-電影推薦、真實新聞組數(shù)據(jù)主題分析、中文分詞、股票數(shù)據(jù)特征分析等。
4.強化矩陣運算、概率論、數(shù)理統(tǒng)計的知識運用，掌握機器學習根本。
5.闡述機器學習原理，提供配套源碼和數(shù)據(jù)；確保“懂推導，會實現(xiàn)”。
6.刪去過于晦澀的公式推導，代之以直觀解釋，增強感性理解。
7.對比不同的特征選擇帶來的預測效果差異。
8.重視項目實踐(如工業(yè)實踐、Kaggle等)，重視落地。思考不同算法之間的區(qū)別和聯(lián)系，提高在實際工作中選擇算法的能力。
9.涉及和講解的部分Python庫有：Numpy、Scipy、matplotlib、Pandas、scikit-learn、XGBoost、libSVM、LDA、Gensim、NLTK、HMMLearn，涉及的其他“小”庫在課程的實踐環(huán)節(jié)會逐一講解。
課程大綱：包括視頻和課件。
第一課：機器學習的數(shù)學基礎1 – 數(shù)學分析
- 機器學習的一般方法和橫向比較
- 數(shù)學是有用的：以SVD為例
- 機器學習的角度看數(shù)學
- 復習數(shù)學分析
- 直觀解釋常數(shù)e
- 導數(shù)/梯度
- 隨機梯度下降
- Taylor展式的落地應用
- gini系數(shù)
- 凸函數(shù)
- Jensen不等式
- 組合數(shù)與信息熵的關(guān)系
第二課：機器學習的數(shù)學基礎2 – 概率論與貝葉斯先驗 - 概率論基礎
- 古典概型
- 貝葉斯公式
- 先驗分布/后驗分布/共軛分布
- 常見概率分布
- 泊松分布和指數(shù)分布的物理意義
- 協(xié)方差(矩陣)和相關(guān)系數(shù)
- 獨立和不相關(guān)
- 大數(shù)定律和中心極限定理的實踐意義
- 深刻理解最大似然估計MLE和最大后驗估計MAP
- 過擬合的數(shù)學原理與解決方案
第三課：機器學習的數(shù)學基礎3 – 矩陣和線性代數(shù) - 線性代數(shù)在數(shù)學科學中的地位
- 馬爾科夫模型
- 矩陣乘法的直觀表達
- 狀態(tài)轉(zhuǎn)移矩陣
- 矩陣和向量組
- 特征向量的思考和實踐計算
- QR分解
- 對稱陣、正交陣、正定陣
- 數(shù)據(jù)白化及其應用
- 向量對向量求導
- 標量對向量求導
- 標量對矩陣求導
第四課：Python基礎1 – Python及其數(shù)學庫 - 解釋器Python2.7與IDE：Anaconda/Pycharm
- Python基礎：列表/元組/字典/類/文件
- Taylor展式的代碼實現(xiàn)
- numpy/scipy/matplotlib/panda的介紹和典型使用
- 多元高斯分布
- 泊松分布、冪律分布
- 典型圖像處理
- 蝴蝶效應
- 分形
第五課：Python基礎2 – 機器學習庫 - scikit-learn的介紹和典型使用
- 損失函數(shù)的繪制
- 多種數(shù)學曲線
- 多項式擬合
- 快速傅里葉變換FFT
- 奇異值分解SVD
- Soble/Prewitt/Laplacian算子與卷積網(wǎng)絡
- 卷積與(指數(shù))移動平均線
- 股票數(shù)據(jù)分析
第六課：Python基礎3 – 數(shù)據(jù)清洗和特征選擇 - 實際生產(chǎn)問題中算法和特征的關(guān)系
- 股票數(shù)據(jù)的特征提取和應用
- 一致性檢驗
- 缺失數(shù)據(jù)的處理
- 環(huán)境數(shù)據(jù)異常檢測和分析
- 模糊數(shù)據(jù)查詢和數(shù)據(jù)校正方法、算法、應用
- 樸素貝葉斯用于鳶尾花數(shù)據(jù)
- GaussianNB/MultinomialNB/BernoulliNB
- 樸素貝葉斯用于18000+篇/Sogou新聞文本的分類
第七課： 回歸 - 線性回歸
- Logistic/Softmax回歸
- 廣義線性回歸
- L1/L2正則化
- Ridge與LASSO
- Elastic Net
- 梯度下降算法：BGD與SGD
- 特征選擇與過擬合
第八課：Logistic回歸 - Sigmoid函數(shù)的直觀解釋
- Softmax回歸的概念源頭
- Logistic/Softmax回歸
- 最大熵模型
- K-L散度
- 損失函數(shù)
- Softmax回歸的實現(xiàn)與調(diào)參
第九課：回歸實踐 - 機器學習sklearn庫介紹
- 線性回歸代碼實現(xiàn)和調(diào)參
- Softmax回歸代碼實現(xiàn)和調(diào)參
- Ridge回歸/LASSO/Elastic Net
- Logistic/Softmax回歸
- 廣告投入與銷售額回歸分析
- 鳶尾花數(shù)據(jù)集的分類
- 交叉驗證
- 數(shù)據(jù)可視化
第十課：決策樹和隨機森林 - 熵、聯(lián)合熵、條件熵、KL散度、互信息
- 最大似然估計與最大熵模型
- ID3、C4.5、CART詳解
- 決策樹的正則化
- 預剪枝和后剪枝
- Bagging
- 隨機森林
- 不平衡數(shù)據(jù)集的處理
- 利用隨機森林做特征選擇
- 使用隨機森林計算樣本相似度
- 數(shù)據(jù)異常值檢測
第十一課：隨機森林實踐 - 隨機森林與特征選擇
- 決策樹應用于回歸
- 多標記的決策樹回歸
- 決策樹和隨機森林的可視化
- 葡萄酒數(shù)據(jù)集的決策樹/隨機森林分類
- 波士頓房價預測
第十二課：提升 - 提升為什么有效
- 梯度提升決策樹GBDT
- XGBoost算法詳解
- Adaboost算法
- 加法模型與指數(shù)損失
第十三課：提升實踐 - Adaboost用于蘑菇數(shù)據(jù)分類
- Adaboost與隨機森林的比較
- XGBoost庫介紹
- Taylor展式與學習算法
- KAGGLE簡介
- 泰坦尼克乘客存活率估計
第十四課：SVM - 線性可分支持向量機
- 軟間隔的改進
- 損失函數(shù)的理解
- 核函數(shù)的原理和選擇
- SMO算法
- 支持向量回歸SVR
第十五課：SVM實踐 - libSVM代碼庫介紹
- 原始數(shù)據(jù)和特征提取
- 調(diào)用開源庫函數(shù)完成SVM
- 葡萄酒數(shù)據(jù)分類
- 數(shù)字圖像的手寫體識別
- SVR用于時間序列曲線預測
- SVM、Logistic回歸、隨機森林三者的橫向比較
第十六課：聚類（上） - 各種相似度度量及其相互關(guān)系
- Jaccard相似度和準確率、召回率
- Pearson相關(guān)系數(shù)與余弦相似度
- K-means與K-Medoids及變種
- AP算法(Sci07)/LPA算法及其應用
第十七課：聚類（下） - 密度聚類DBSCAN/DensityPeak(Sci14)
- DensityPeak(Sci14)
- 譜聚類SC
- 聚類評價AMI/ARI/Silhouette
- LPA算法及其應用
第十八課：聚類實踐 - K-Means++算法原理和實現(xiàn)
- 向量量化VQ及圖像近似
- 并查集的實踐應用
- 密度聚類的代碼實現(xiàn)
- 譜聚類用于圖片分割
第十九課：EM算法 - 最大似然估計
- Jensen不等式
- 樸素理解EM算法
- 精確推導EM算法
- EM算法的深入理解
- 混合高斯分布
- 主題模型pLSA
第二十課：EM算法實踐 - 多元高斯分布的EM實現(xiàn)
- 分類結(jié)果的數(shù)據(jù)可視化
- EM與聚類的比較
- Dirichlet過程EM
- 三維及等高線等圖件的繪制
- 主題模型pLSA與EM算法
第二十一課：主題模型LDA - 貝葉斯學派的模型認識
- 共軛先驗分布
- Dirichlet分布
- Laplace平滑
- Gibbs采樣詳解
第二十二課：LDA實踐 - 網(wǎng)絡爬蟲的原理和代碼實現(xiàn)
- 停止詞和高頻詞
- 動手自己實現(xiàn)LDA
- LDA開源包的使用和過程分析
- Metropolis-Hastings算法
- MCMC
- LDA與word2vec的比較
第二十三課：隱馬爾科夫模型HMM - 概率計算問題
- 前向/后向算法
- HMM的參數(shù)學習
- Baum-Welch算法詳解
- Viterbi算法詳解
- 隱馬爾科夫模型的應用優(yōu)劣比較
第二十四課：HMM實踐 - 動手自己實現(xiàn)HMM用于中文分詞
- 多個語言分詞開源包的使用和過程分析
- 文件數(shù)據(jù)格式UFT-8、Unicode
- 停止詞和標點符號對分詞的影響
- 前向后向算法計算概率溢出的解決方案
- 發(fā)現(xiàn)新詞和分詞效果分析
- 高斯混合模型HMM
- GMM-HMM用于股票數(shù)據(jù)特征提取
