MachineLearning

2016-07-13
机器学习相关材料

数学基础

进阶版本数学基础课程

机器学习基础课程

  • 1、Coursera上Andrew Ng Andrew Ng的《机器学习》
  • 2、林軒田(国立台湾大学) 機器學習基石

机器学习基础课程

  • 1、 《统计学习方法》李航
  • 2、 《机器学习导论》
  • 3、 《PRML》
  • 4、 《图解机器学习》[日]杉山将
  • 5、 Machine Learning: A Probabilistic Prespective （Kevin Murphy）
  • 6、 Pattern Recognition and Machine Learning （Christopher Bishop）
  • 7、 《Spark机器学习》
  • 8、 《机器学习实战》
  • 9、 《贝叶斯思维:统计建模的Python学习法》
  • 10、Python自然语言处理》
  • 11、数学之美 （吴军）
  • 12、Web智能算法 （Haralambos Marmanis, Dmitry Babenko）
  • 13、集体智慧编程 （Toby Segaran）
  • 14、推荐系统实践
  • 15、计算广告学

深度学习（注定将成为最近几年的爆发式增长）

杂项

《Choosing a Machine Learning Classifier》
《An Introduction to Deep Learning: From Perceptrons to Deep Networks》 译文
《The LION Way: Machine Learning plus Intelligent Optimization》
《分布式并行处理的数据》
《Deep Learning for Natural Language Processing and Related Applications》
《Neural Networks and Deep Learning》
《分布式机器学习的故事》
《Deep Learning 101》
《Deep learning from the bottom up》
《Deep Learning（深度学习）学习笔记整理系列》
《Google Turns To Deep Learning Classification To Fight Web Spam》
《Deep Learning Sentiment Analysis for Movie Reviews using Neo4j》
《EMNLP上两篇关于股票趋势的应用论文 》
《Learning to Rank for Information Retrieval and Natural Language Processing》
《Geoffrey E. Hinton》
《Andrej Karpathy的深度强化学习演示》 论文在这里
《用大数据和机器学习做股票价格预测》
《Use Google’s Word2Vec for movie reviews》
《深度卷积神经网络下围棋》
《机器学习经典算法详解及Python实现–线性回归（Linear Regression）算法》
《Caffe》
《GoogLeNet深度学习模型的Caffe复现 》 GoogleNet论文
《Deep Learning实战之word2vec》
《A Deep Dive into Recurrent Neural Nets》
《Geoffrey E. Hinton个人主页》
《Deep Learning on Hadoop 2.0》
《美团推荐算法实践》
《The Trouble with SVMs》
《Gaussian Processes for Machine Learning》
《Introduction to ARMA Time Series Models – simplified》
《Neural Net in C++ Tutorial》
《Deep Learning Tutorials》
《Deep Learning, The Curse of Dimensionality, and Autoencoders》
《Topic modeling with LDA: MLlib meets GraphX》
《Deep Learning for Multi-label Classification》
《Google DeepMind publications》 AlphaGo团队官方论文
《AM207: Monte Carlo Methods, Stochastic Optimization》
《Back-to-Basics Weekend Reading - Machine Learning》
《A Probabilistic Theory of Deep Learning》
《How does Quora use machine learning in 2015?》
《Parallel Machine Learning with scikit-learn and IPython》
《Time Series Econometrics - A Concise Course》
《A comparison of open source tools for sentiment analysis》
《International Joint Conference on Artificial Intelligence Accepted paper》
《How to Evaluate Machine Learning Models, Part 1: Orientation》
《Learning scikit-learn: Machine Learning in Python》
《Lightning fast Machine Learning with Spark》
《How we’re using machine learning to fight shell selling》
《Mining of Massive Datasets》
《Advances in Extreme Learning Machines》
《The Curse of Dimensionality in classification》
《Demistifying LSTM Neural Networks》
《Decoding Dimensionality Reduction, PCA and SVD》
《What are the advantages of different classification algorithms?》
《Kaggle R Tutorial on Machine Learning》 《Interactive R Tutorial: Machine Learning for the Titanic Competition》.
《Logistic Regression and Gradient Descent》
《Stock Forecasting With Machine Learning - Seven Possible Errors》
《LR原理解析》
《机器学习顶级会议和杂志》
《贝耶斯回归材料》
《贝耶斯回归材料》
《alphaGo原理解析》
《理解卷积神经网络的文章》
《Neural Networks and Deep Learning》
通俗易懂介绍CNN
CS231n Convolutional Neural Networks for Visual Recognition

2016-07-13
过拟合的原因

过拟合产生原因

观测数据存在误差

用于训练的样本数据，即观测数据因为各种个样的原因，总会产生误差。如果选择的假设过分追求能够完美解释观测数据（对于回归问题，可能是拟合曲线“穿过”所有的样本点，或者类似于均方误差过小），都有可能造成过拟合的现象。造成这种现象的根本原因在于，拟合曲线把误差也完美的学习了。

产生样本因素很多，但是实际可能只有小部分提取出来

影响产生观测数据的因素有很多，但是现实中可能仅提取几个和结果相关度很高的因素来进行分析。这个时候观察数据会倾向于围绕你的有限模型的预测结果呈正态分布，于是你实际观察到的结果就是这个正态分布的随机取样，这个取样很可能受到其余因素的影响偏离你的模型所预测的中心，这个时候便不能贪心不足地试图通过改变模型来“完美”匹配数据，因为那些使结果偏离你的预测的贡献因素不是你这个有限模型里面含有的因素所能概括的，硬要打肿脸充胖子只能导致不实际的模型。

奥卡姆剃刀法则

$$
p\left( h|D\right ) = p\left( h\right ) p\left( D|h\right )
$$
高卡姆剃刀法则的含义是如果存在多个假设和观察一致，则应当选择最简单的那一个。最简单的假设意味着$\left( h\right)$较大，而与观测一致，意味着似然数值较大，即$p\left( D|h\right )$较大。

奥卡姆剃刀法则青睐于先验概率，认为先验较大的模型有较大的优势；最大似然法则认为似然大的模型具有较大的优势；而贝叶斯法则则认为二者乘积决定模型的选择问题。

贝叶斯奥卡姆剃刀

上面的奥卡姆剃刀法则描述的是传统的剃刀法则，主要指先验概率$\left( h\right)$,而贝叶斯法奥卡姆剃刀法其实和似然$p\left( D|h\right )$上面，即该法则主要衡量的因素是似然本身出现的概率大小。

▲