wangyuGithub01/Machine_Learning_Resources

:point_right: 此repo主要是为了整理机器学习面试相关知识点的有用链接 （注：目前不打算将一些基础算法的内容加入这个repo里，比如LR、SVM算法在《统计学习方法》里已经得到了很好的解释，面试时可能考到的手推公式在书里已经写的很好了，所以推荐直接看书即可。）

一、特征工程

（一）特征预处理

• 标准化、归一化、异常特征清洗、不平衡数据
• 不平衡数据的处理方法

（二）特征表达

• 缺失值、特殊特征(eg.时间)、离散特征、连续特征
• 连续特征离散化的好处
• 什么样的模型对缺失值更敏感？

（三）特征选择

• 过滤法、包装法、嵌入法
• Kaggle中的代码实战

二、算法基础

（一）评价指标

• PR曲线和F1 & ROC曲线和AUC
• AUC & GAUC

（二）正则项

• 正则化与数据先验分布的关系
• L1在0点处不可导怎么办？可采用坐标轴下降、最小角回归法
• L1为什么比L2的解更稀疏

（三）损失函数

• 常见损失函数
• 常见损失函数2

（四）模型训练

• 经验误差与泛化误差、偏差与方差、欠拟合与过拟合、交叉验证
• 参数初始化为什么不能全零
• 深度学习参数初始化 Lecunn、Xavier、He初始化
• dropout
• Batch Normalization
• dropout和BN在训练&预测时有什么不同
• Layer Normalization
• Transformer为什么用LN不用BN（LN和BN两者分别关注什么）
• ResNet

（五）优化算法

• 梯度下降法、牛顿法和拟牛顿法
• 深度学习优化算法SGD、Momentum、Adagrad等
• 最大似然估计 和 最大后验估计
• 最小二乘法 和 最大似然估计的对比联系
• 最大似然估计 和 EM
• 浅谈最优化问题的KKT条件

（六）其他知识点

• 先验概率 & 后验概率
• MLE最大似然估计 & MAP最大后验估计
• 判别模型 vs 生成模型
• 参数模型 vs 非参数模型
• 参数估计 最大似然估计与贝叶斯估计
• 交叉熵
• 交叉熵 等价 KL散度 等价 MLE最大似然估计
• 向量间距离度量方式
• 余弦距离和欧氏距离的转换

三、机器学习算法

1. 线性回归、逻辑回归、SVM

• LR优缺点
• SVM、logistic regression、linear regression对比
• KNN vs K-Means
• LR和最大熵模型的关系, LR的并行化
• 为什么LR要用对数似然，而不是平方损失？
• 似然函数

1. 树模型

• 逻辑回归与决策树在分类上的区别
• 回归树、提升树、GBDT
• GBDT、XGBOOST、LightGBM讲解(强烈推荐看一下)
• XGBOOST具体例子一步步推导，包括缺失值怎么处理（很细值得看） (-> 这个链接包含前面文章内容，更全的总结
• 随机森林 GBDT XGBOOST LightGBM 比较
• 树分裂：信息增益、信息增益率、基尼系数

1. 其他

• 各种机器学习算法的应用场景

四、NLP相关

• word2vec 文章1文章2 文章3
• LSTM
• LSTM为什么用tanh
• fasttext
• Transformer、self-attention
• Transformer图解
• encode-decode attention和transformer self-attention对比
• Transformer中的positional encoding
• Bert 零基础入门，prerequisites很全
• XLNet
• nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert
• NLP/AI面试全记录

五、推荐系统 & 计算广告 相关

• LR & FTRL
• FM算法:讲的蛮细的
• FM算法结合推荐系统的讲解
• DSSM模型
• DSSM模型的损失函数（顺带讲了point-wise, list-wise, pair-wise损失函数）
• 在线最优化求解 Online Optimization

六、推荐书籍/笔记/代码实现

• 统计学习方法 (注意这个pdf是第一版，其中的勘误可在这里查看)（代码实现及ppt）
• 西瓜书的公式推导细节解析
• deeplearning.ai深度学习课程的中文笔记
• 机器学习训练秘籍 (Andrew NG)
• 推荐系统实战

七、推荐专栏

• 刘建平Pinard：很多高质量文章讲解基础的知识和算法
• 华校专：基础算法讲解，多而全（其实还没怎么看
• 王喆的机器学习专栏：结合论文+工业界的推荐系统应用，讲的很清晰
• 荐道馆：讲推荐相关，文章写的比较透
• 美团技术团队：美团的技术博客，新技术与实际应用相结合
• 深度学习前沿笔记：NLP相关较多，预训练技术讲解的多
• 计算广告小觑
• 计算广告论文、学习资料、业界分享

八、面试问题汇总

• 牛客网面经总结

九、其他面试常考

• 海量数据判重
• 常考智力题/逻辑题
• 常考概率题

十、C++相关

• STL详解及常见面试题

工作之后工程实践相关

• 基于PQ量化的近似近邻搜索 (ANN)
• ANN召回算法之IVFPQ(跟上面的差不多，这篇图第一张画的PQ图更清晰)