Google在今年4月份发布了一篇论文《Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention》，光看这篇论文标题就很吸引人，既是“No Context Behind”又是“Infini-attention”，那让我们看看Infini-Transformers是否能够真的做到

本章介绍用于隐式反馈建模的神经协同过滤框架（Neural Collaborative Filtering，NCF）。隐式反馈在推荐系统中普遍存在，点击、购买和观看等行为是常见的隐式反馈，这些反馈易于收集且一定程度上反映了用户的偏好。

在之前关于矩阵分解模型和AutoRec模型中，我们只是对显示反馈进行了建模，即用户对物品的评分。但实际这种方式存在两种缺陷：真实场景下的反馈大多是隐式反馈，比如用户的点击、浏览等行为，并且收集显示反馈的成本较高。其次，只对显示反馈建模会忽略那些未观测到的用户-物品对（即用户没有明确给出评分或反馈的项目），其中可能包括负面反馈（用户对物品不感兴趣）和缺失值（用户未来可能会对物品产生反馈）。之前提到的

在上一节我们介绍了矩阵分解MF模型，虽然MF能够在一些评分预测模型上取得不错的效果，但其本质上还是一个线性模型，因此这类模型缺乏捕捉用户和物品之间的复杂交互关系的能力，而这些非线性关系可能对预测用户偏好有很大的帮助。 本节我们将介绍一个非线性的协同扩散模型AutoRec，它是基于自动编码器（Autoencoder）的推荐模型，但是和传统的自动编码器有所不同。 一方面，AutorRec模型有着与

矩阵分解（Matrix Factorization）是一种在推荐系统中被广泛认可和使用的技术。MF模型的一个版本是由Simon Funk在其博客Netflix Update: Try this at home中提出的，他在文中描述了分解交互矩阵的方法。在本节中，我们将深入探讨矩阵分解模型及其实现的细节。

最近在学习推荐系统，Dive Into Deep Learning推荐系统篇介绍的非常好，本系列的大部分图也都该章，但是由于其代码实现使用的是mxnet深度学习框架，可能对于一些pytorch用户来说不太友好，此外关于一些细节的解释可能也不尽详细，因此本系列内容将在其基础上，使用pytorch框架实现推荐系统，并对一些细节进行更详细的解释。 需要说明的是，原文中介绍的推荐系统都有一定的年代了

详细解读AUC及其在推荐系统中的应用 在面试算法岗时，面试官经常会问关于AUC的一些问题，比如AUC的定义，AUC的计算方法，AUC的优缺点等等。本文将深入浅出地介绍AUC的含义、计算方法及其在推荐系统中的应用。

本文阐明了RNN中的梯度消失问题的含义，并根据反向传播公式深入分析了RNN中梯度消失的原因，最后说明了梯度消失和长距离依赖之间的关系。

对于国内大陆用户而言，想要直接访问用 github 托管的个人博客不是件容易的事，为了解决网络不可达问题，可以采用将网页内容分发到全球各地的服务器上，同时还能缩短网站加载时间。

深度学习——线性神经网络 线性回归的输出通常是预测目标的值，softmax回归的输出通常是预测目标的概率分布