Skip to content

Latest commit

 

History

History
90 lines (83 loc) · 2.31 KB

README.md

File metadata and controls

90 lines (83 loc) · 2.31 KB

Machine Learning

一些基础机器学习算法实现

主要参考

李锐, 李鹏, 曲亚东, 等. 机器学习实战[M]. BEIJING BOOK CO. INC., 2013.

使用纯python3实现，没有使用相关的框架，修改，补充，完善了参考资料中的相关细节，所有实验数据都在data文件夹下；

代码和原理均以Jupyter Lab的形式展示，方便阅读和学习；

主要内容

  • Numpy Test
    • 关于Numpy array和matrix的简单示例
  • Decision Tree
    • 决策树（ID3）
    • Matplotlib形象化决策树
    • 测试及存储分类器
    • e.g. 使用决策树预测隐形眼镜类型
    • 总结
  • Naive Bayes
    • 描述及特点
    • 使用NB进行文本分类
    • 使用NB过滤垃圾邮件
    • 使用NB获取不同类型信息的用词倾向
    • 总结
  • KNN
    • 描述及特点
    • 核心原理
    • 算法流程
    • 实战
      • e.g.1简单实例
      • e.g.2 KNN改进约会网站配对
      • e.g.3 KNN手写数字识别
  • Logistic Regression
    • 描述及特点
    • 理论基础
    • 基于最优化方法获取最佳回归系数
      • 批次梯度上升
      • 随机梯度上升
    • e.g. 从疝气病症预测病马死亡率
    • 总结
  • SVM
    • simpleSMO
      • 理论基础
      • SMO（Sequential Minimal Optimization）
    • PlattSMO
      • Platt SMO
      • 应用核函数解决非线性可分问题
      • 手写数字识别
      • 总结
  • AdaBoost集成多个弱分类器提高分类性能
    • 集成学习
    • AdaBoost
    • AdaBoost示例
  • LinearRegression
    • 线性回归
    • 局部加权线性回归
    • 缩减系数辅助“理解”数据
  • RegressionTree
    • 复杂数据局部性建模
    • 连续和离散特征的树的构建
    • CART算法用于回归
    • 树剪枝
    • 模型树
    • 树回归和标准回归比较
  • KMeanClustering
    • K-Mean clustering
    • Bisecting K-Mean算法
    • 示例:对地图上的点聚类
  • Apriori
    • 关联分析
    • Apriori
    • 从频繁项集中挖掘关联规则
    • e.g. 发现毒蘑菇的相似特征
  • FP-growth
    • FP-growth
    • 从FP树中挖掘频繁项集
    • e.g. 从新闻网站点击流中挖掘
  • PCA
    • PCA
    • e.g.
  • SVD
    • SVD
    • 基于协同过滤的推荐引擎
    • e.g.
      • 餐馆菜肴推荐引擎
      • 基于SVD的图像压缩