① Neo4j 做推荐 （10）—— 协同过滤（皮尔逊相似性）
皮尔逊相似性或皮尔逊相关性是我们可以使用的另一种相似度量。这特别适合产品推荐，因为它考虑到 不同用户将具有不同的平均评分 这一事实：平均而言，一些用户倾向于给出比其他用户更高的评分。由于皮尔逊相似性考虑了 均值的差异 ，因此该指标将解释这些差异。
根据皮尔逊的相似度，找到与Cynthia Freeman最相似的用户
MATCH (u1:User {name:"Cynthia Freeman"})-[r:RATED]->(m:Movie)
WITH u1, avg(r.rating) AS u1_mean
MATCH (u1)-[r1:RATED]->(m:Movie)<-[r2:RATED]-(u2)
WITH u1, u1_mean, u2, COLLECT({r1: r1, r2: r2}) AS ratings WHERE size(ratings) > 10
MATCH (u2)-[r:RATED]->(m:Movie)
WITH u1, u1_mean, u2, avg(r.rating) AS u2_mean, ratings
UNWIND ratings AS r
WITH sum( (r.r1.rating-u1_mean) * (r.r2.rating-u2_mean) ) AS nom,
sqrt( sum( (r.r1.rating - u1_mean)^2) * sum( (r.r2.rating - u2_mean) ^2)) AS denom,
u1, u2 WHERE denom <> 0
RETURN u1.name, u2.name, nom/denom AS pearson
ORDER BY pearson DESC LIMIT 100
Neo4j 做推荐 （1）—— 基础数据
Neo4j 做推荐 （2）—— 基于内容的过滤
Neo4j 做推荐 （3）—— 协同过滤
Neo4j 做推荐 （4）—— 基于内容的过滤（续）
Neo4j 做推荐 （5）—— 基于类型的个性化建议
Neo4j 做推荐 （6）—— 加权内容算法
Neo4j 做推荐 （7）—— 基于内容的相似度量标准
Neo4j 做推荐 （8）—— 协同过滤（利用电影评级）
Neo4j 做推荐 （9）—— 协同过滤（人群的智慧）
Neo4j 做推荐 （10）—— 协同过滤（皮尔逊相似性）
Neo4j 做推荐 （11）—— 协同过滤（余弦相似度）
Neo4j 做推荐 （12）—— 协同过滤（基于邻域的推荐）
② 协同过滤，基于内容推荐有什么区别
举个简单的小例子，我们已知道
用户u1喜欢的电影是A，B，C
用户u2喜欢的电影是A, C, E, F
用户u3喜欢的电影是B，D
我们需要解决的问题是：决定对u1是不是应该推荐F这部电影
基于内容的做法：要分析F的特征和u1所喜欢的A、B、C的特征，需要知道的信息是A（战争片），B（战争片），C（剧情片），如果F（战争片），那么F很大程度上可以推荐给u1，这是基于内容的做法，你需要对item进行特征建立和建模。
协同过滤的办法：那么你完全可以忽略item的建模，因为这种办法的决策是依赖user和item之间的关系，也就是这里的用户和电影之间的关系。我们不再需要知道ABCF哪些是战争片，哪些是剧情片，我们只需要知道用户u1和u2按照item向量表示，他们的相似度比较高，那么我们可以把u2所喜欢的F这部影片推荐给u1。
根据数据源的不同推荐引擎可以分为三类
1、基于人口的统计学推荐(Demographic-based Recommendation)
2、基于内容的推荐(Content-based Recommendation)
3、基于协同过滤的推荐(Collaborative Filtering-based Recommendation)
基于内容的推荐：
根据物品或内容的元数据，发现物品或内容的相关性，然后基于用户以前的喜好记录推荐给用户相似的物品
基于内容推荐的一个典型的例子，电影推荐系统，首先我们需要对电影的元数据有一个建模，这里只简单的描述了一下电影的类型；然后通过电影的元数据发现电影间的相似度，因为类型都是“爱情，浪漫”电影 A 和 C 被认为是相似的电影（当然，只根据类型是不够的，要得到更好的推荐，我们还可以考虑电影的导演，演员等等）；最后实现推荐，对于用户 A，他喜欢看电影 A，那么系统就可以给他推荐类似的电影 C。
③ 利用 SVD 实现协同过滤推荐算法
奇异值分解(Singular Value Decomposition，以下简称SVD)
是在机器学习领域广泛应用的算法，它不光可以用于 降维算法中的特征分解 ，还可以用于 推荐系统 ，以及自然语言处理等领域。
优点： 简化数据，去除噪声，提高算法的结果。
缺点： 数据的转换可能难以理解。
应用领域： 推荐引擎（协同过滤、相似度计算）、图像压缩等。
SVD定义： 如果我们求出了矩阵A的n个特征值λ1≤λ2≤...≤λn，以及这n个特征值所对应的特征向量{w1,w2,...wn}，如果这n个特征向量线性无关，那么矩阵A就可以用下式的特征分解表示：A=WΣW−1，其中W是这n个特征向量所张成的n×n维矩阵，而Σ为这n个特征值为主对角线的n×n维矩阵。一般我们会把W的这n个特征向量标准化，即满足||wi||2=1, 或者wiTwi=1，此时W的n个特征向量为标准正交基，满WTW=I，即WT=W−1, 也就是说W为酉矩阵。要进行特征分解，矩阵A必须为方阵。那么如果A不是方阵，则用到SVD。
矩阵A的SVD为：A=UΣVT，其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵。U和V都是酉矩阵，即满足UTU=I,VTV=I。
对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。
因此SVD 也是一种强大的降维工具 ，可以利用 SVD 来逼近矩阵并从中获得主要的特征。通过保留矩阵的 80%~90% 的能量，就可以得到重用的特征并去除噪声。
推荐系统 是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程。
主要有以下几种推荐算法：
基于内容的推荐（用到自然语言处理）， 协同过滤（主流） ，基于规则推荐（基于最多用户点击，最多用户浏览等），混合推荐（类似集成算法，投票决定），基于人口统计信息的推荐（根据用户基本信息）
协同过滤推荐分为三种类型。 第一种是基于用户(user-based)的协余态橡同过滤（需要在线找用户和用户之间的闭拦相似度关系），第二种是基于项目(item-based)的协同过滤（基于项目的协同过滤可以离线找物品和物品之间的相似度关系）， 第三种是基于模型(model based)的协同过滤（用户和物品，主流）。
一般在推荐系统中，数据往往是使用 用户-物品 矩阵来表示的。 用户对其接触过的物品进行评分，评分表示了用户对于物品的喜爱程度，分数越高，表示用户越喜欢这个物品。而这个矩阵往往是稀疏的，空白项是用户还未接触到的物品，推荐系统的任务则是选择其中的部分物品推荐给用户。
对于这个 用户-物品 矩阵，用已有的部分稀疏数据来预测那些空白的物品和数据之间的评分关系，找到最高评分的物品推荐给用户。
具体基于模型的方法有：
用关联算法做协同过滤（Apriori算法、FP Tree算法）
用聚类算法做协同过滤（针对基于用户或者基于模型，Kmeans，DBSCAN）
用分类算法做协同过滤（设定评分阈值，高于推荐，低于不推荐，逻辑回归和朴素贝叶斯，解释性很强）
用回归算法做协同过滤（Ridge回归，回归树）
用矩阵分解做协同过滤（由于传统的奇异值分解SVD要求矩阵不能有缺失数据，必须是稠密的，而用户物品评分矩阵是一个典型的稀疏矩阵，主要是SVD的一些变种，比如FunkSVD，BiasSVD和SVD++。这些算法和传统SVD的最大区别是不再要求将矩阵分解为UΣVT的形式，而变是两个低秩矩阵PTQ的乘积形式。）
用神经网竖旁络做协同过滤（限制玻尔兹曼机RBM）
在 Python 的 numpy 中，linalg已经实现了SVD
④ 推荐系统论文阅读（二十三)-神经图协同过滤NGCF
论文：
论文题目：《Neural Graph Collaborative Filtering》
论文地址： https://arxiv.org/pdf/1905.08108.pdf
本论文是关于图结构的协同过滤算法，在原始的矩阵分解和基于深度学习的方法中，通常是通过映射描述用户（或物品）的现有特征（例如ID和属性）来获得用户（或物品）的嵌入。从而利用user和item的embedding进行协同召回。但是作者认为这种方法的固有缺点是：在user与item的interaction数据中潜伏的 协作信号（collaborative signal） 未在嵌入过程中进行编码。这样，所得的嵌入可能不足以捕获协同过滤效果。
让我们一起来看一下本论文是怎么利用数据中潜伏的协作信号的吧。
推荐算法被广泛的运用在各个领域中，在电商领域，社交媒体，广告等领域都发挥着至关重要的作用。推荐系统的核心内容就是根据用户以前的购买和点击行为来评估用户对一个物品的喜爱程度，从而针对每个用户进行个性化推荐。协同过滤算法认为历史行为相似的用户之间的兴趣是相同的，所以给用户推荐的是同类型用户的爱好，也就是UserCF，而ItemCF给用户推荐的是跟历史行为相近的物品。
传统的协同过滤方法要么是基于矩阵分解，要么是基于深度学习的，这两种方法都忽略了一个非常关键的信息---user和item交互的协作信号，该信号隐藏在user和item的交互过程中。原始的协同过毁昌滤方法忽略了这种信息，所以在进行user 和 item representation时就不足以较好的进行embedding。
本论文通过将用户项交互（更具体地说是二分图结构）集成到embedding过程中，开发了一个新的推荐框架神经图协同过滤（NGCF），该框架通过在其上传播embedding来利用user-item图结构。这种方法在用户项目图中进行高阶连通性的表达建模，从而以显式方式将协作信号有效地注入到embedding过程中。
在介绍模型之前先来讲解一下什么是useritem interaction以及什么是高阶的useritem interaction。
我们先看左颤余尘边的图，这个图就是useritem interaction，u1是我们待推荐的用户，用双圆圈表示，他交互过的物品有i1，i2，i3。在看右边这个树形结构的图，这个图是u1的高阶interaction图，注意只有l > 1的才是u1的高阶连接。观察到，这么一条路径，u1 ← i2 ← u2，指示u1和u2之间的行为相似性，因为两个用户都已与i2进行了交互。而另一条更长的路径，u1←i2←u2←i4暗示u1可能会点击i4，因为他的相似用户u2之前已经购买过i4。另一方面，用户u1在l = 3这一层会更倾向于i4而不是i5，理由是i4到u1有两条路径而i5只有一条。
当然这种树结构是不可能通过构建真正的树节点来表示的，因为树模型比较复杂，而且结构很大，没法对每个用户构建一个树，茄禅这样工作量太大了。那么怎么设计模型结构可以达到跟这个high-order connectivity的效果呢，这个就要运用到神经网络了。通过设计一个embedding propagation layer来表示这种embedding 在每个层之间的传递。
还是拿上面那张图举例子，堆叠两层可捕获u1←i2←u2的行为相似性，堆叠三层可捕获u1←i2←u2←i4的潜在推荐以及信息流的强度（由层之间的可训练权重来评估），并确定i4和i5的推荐优先级。
这个跟传统的embedding是一样的，都是对原始的userID和itemID做embedding，跟传统embedding不同的地方是，在我们的NGCF框架中，我们通过在用户-项目交互图上传播embedding来优化embedding。 由于embedding优化步骤将协作信号显式注入到embedding中，因此可以为推荐提供更有效的embedding。
这一层是本文的核心内容，下面我们来进行详细的解读。
从直观上来看，用户交互过的item会给用户的偏好带来最直接的依据。类似地，交互过某个item的用户可以视为该item的特征，并可以用来衡量两个item的协同相似性。 我们以此为基础在连接的用户和项目之间执行embedding propogation，并通过两个主要操作来制定流程：消息构建和消息聚合。
Message Construction(消息构建)
对于连接的user-item对(u,i)，我们定义从i到u的消息为：
其中ei是i的embedding，eu是u的embedding，pui是用于控制每次传播的衰减因子，函数f是消息构建函数，f的定义为：
其中W1和W2用来提取有用的embedding信息，可以看到W2控制的i和u直接的交互性，这使得消息取决于ei和eu之间的亲和力，比如，传递更多来自相似项的消息。
另一个重要的地方是Nu和Ni，pui = 1/ 。Nu和Ni表示用户u和item i的第一跳邻居。 从表示学习的角度来看，pui反映了历史item对用户偏好的贡献程度。 从消息传递的角度来看，考虑到正在传播的消息应随路径长度衰减，因此pui可以解释为折扣因子。
Message Aggregation
聚合方法如下 ：
其中 表示在第一嵌入传播层之后获得的用户u的表示。激活函数采用的是leakyrelu，这个函数适合对pos和neg信号进行编码。
另一个重要的信息是 ,它的定义如下：
这个信息的主要作用是保留原始的特征信息。
至此，我们得到了 ，同样的方法，我们也能获得 ，这个都是first order connectivoty的信息。
根据前面的计算方式，我们如果将多个Embedding Propagation Layers进行堆叠，我们就可以得到high order connectivity信息了：
计算方式如下：
当我看到这里的时候，我的脑子里产生了一个大大的疑惑，我们在计算第l层的eu和ei时都需要第l-1层的信息，那么我们怎么知道ei和eu在第l层是否存在呢？也就是说出现u侧的总层数l大于i侧总层数的时候，我们如何根据第l-1层的ei来计算第l层的e呢？经过思考，我感觉应该是这样的，训练样本应该是一条path，也就是这个例子是u1 ← i2 ← u2 ← i4这条path，所以可以保证u1跟i4的层数l是一样的，所以不存在上面那个层数不匹配的问题。
ps:看到后面的实验结果才知道L是固定的所以每一层都不会缺失。
还有一个就是，不同层之间的W是不一样的，每一层都有着自己的参数，这个看公式就知道，理由就是我们在提取不同层信息的时候需要不同的W进行信息提取。
另一个疑惑是pui到底是不是每一个l层都一样？这里看公式好像就是指的是第一跳的Nu和Ni进行就计算的结果。
这部分内容是为了在进行batch训练的时候进行矩阵运算所推导的数学过程，其实跟之前我们讲的那个过程在数学上的计算是完全一样的，你想象一下，如果不用矩阵进行运算，在训练过程中要如何进行这么复杂的交互运算。
当进行了l层的embedding propagation后，我们就拥有了l个eu和l个ei，我们将他们进行concate操作：
这样，我们不仅可以通过嵌入传播层丰富初始嵌入，还可以通过调整L来控制传播范围。
最后，我们进行内积计算，以评估用户对目标商品的偏好：
采用的是pair-wise方式中的bpr loss：
⑤ 基于协同过滤的推荐算法
协同过滤推荐算法是最经典的推荐算法，它的算法思想为 物以类聚，人以群分 ，基本的协键困同过滤算法基于以下的假设：
实现协同过滤的步骤：
1). 找到相似的Top-N个人或者物品 ：计算两两的相似度并进行排序
2). 根据相似的人或物品产生推荐结果 ：利用Top-N生成初始推荐结果，然后悔毁过滤掉用户已经有过记录或者明确表示不喜欢的物品
那么，如何计算相似度呢？
根据数据类型的不同，相似度的计算方式也不同，数据类型有：
一般的，相似度计算有 杰卡德相似度、余弦相似度、皮尔逊相关系数
在协同过滤推荐算法中，我们更多的是利用用户对物品的评分数据集，预测用户对没有评分过的物品的评分结果。
用户-物品的评分矩阵，根据碧亮备评分矩阵的稀疏程度会有不同的解决方案。
目的：预测用户1对于物品E的评分
步骤分析：
实现过程
用户之间的两两相似度：
物品之间的两两相似度：
⑥ 推荐算法之模型协同过滤（1）-关联规则
关联规则是数据挖掘中的典型问题之一，又被称为购物篮分析，这是因为传统的关联规则案例大多发生在超市中，例如所谓的啤酒与尿布传说。事实上，“购物篮”这个词也揭示了关联规则挖掘的一个重要特点：以交易记录为研究对象，每一个购物篮（transaction）就是一条记录。关联规则希望挖掘的规则就是：哪些商品会经常在同一个购物篮中出现，其中有没有因果关系。为了描述这种“经常性”及“因果关系”，分析者定义了几个指标，基于这些指标来筛选关联规则，从而得到那些不平凡的规律。
（1）计算支持度
支持度计数：一个项集出现在几个事务当中，它的支持度计数就是几。例如{Diaper, Beer}出现在事务 002、003和004中，所以它的支持度计数是3
支持度：支持度计数除冲脊于总的事务数。例如上例中总的事务数为4，{Diaper, Beer}的支持度计数为3，所以它的支持度是3÷4=75%，说明有75%的人同时买了Diaper和Beer。
（2）计算置信度
置信度：对于规则{Diaper}→{Beer}，{Diaper, Beer}的支持度计数除于{Diaper}的支持度计数，为这个规则的置信度。例如规则{Diaper}→{Beer}的置信度为3÷3=100%。说明买了Diaper的人100%也买了旅判此Beer。
一般地，关联规则被划分为动态推荐，而协同过滤则更多地被视为静态推荐。
所谓动态推荐，就是推荐的基础是且只是当前一次（最近一次）的购买或者点击。譬如用户在网站上看了一个啤酒，系统就找到与这个啤酒相关的关联规则，然后根据这个规则向用户进行推荐。而静态推荐则是在对用户进行了一定分析的基础上，建立了这个用户在一定时期内的偏好排序，然后在这段时期内持续地按照这个排序来进行推荐。由此可见，关联规则与协同过滤的策略思路是完全不同的类型。
事实上，即便在当下很多能够拿到用户ID的场景，使用动态拆迅的关联规则推荐仍然是值得考虑的一种方法（尤其是我们经常把很多推荐方法的结果综合起来做一个混合的推荐），因为这种方法的逻辑思路跟协同过滤有着本质的不同，问题似乎仅仅在于：个人的偏好到底有多稳定，推荐到底是要迎合用户的长期偏好还是用户的当下需求。
挖掘关联规则主要有Apriori算法和FP-Growth算法。后者解决了前者由于频繁的扫描数据集造成的效率低下缺点。以下按照Apriori算法来讲解。
step 1： 扫描数据集生成满足最小支持度的频繁项集。
step 2： 计算规则的置信度，返回满足最小置信度的规则。
如下所示，当用户购买1商品时推荐2、3商品
⑦ Neo4j 做推荐 （2）—— 基于内容的过滤
原文地址：Neo4j 做推荐 （2）—— 基于内容的过滤
基于内容的过滤(Content-based filtering)：该技术通过比较商品之间的相似性或者相关性进行推荐。这种方式忽略用户的购买行为，只考虑商品之间的相似关系。
MATCH p=(m:Movie {title: "Net, The"})-[:ACTED_IN|:IN_GENRE|:DIRECTED*2]-() RETURN p LIMIT 25
运行结果如下图：
分析：
Cypher 语句的意思是：找出25条记录，该记录满足以下条件之一：
该记录中的电影是电影m 有相同的流派（IN_GENRE）
出演过电影m的演员，出演过该电影（ACTED_IN）
执导过电影m的导演，执导过该电影（DIRECTED）
注意：此语句返回的记录P，是一条关系链，并不仅仅是某一部电影。
另外，关系的运算，用到了 | 或。:DIRECTED*2 中的 *2 表示关系长度为2的关系。
这里举个例子：
MATCH p=(m:Movie {title: "Net, The"})-[:DIRECTED]-() RETURN relationships(p) as r
返回结果：
╒════╕
│"r" │
╞════╡
│[{} ]│
└────┘
MATCH p=(m:Movie {title: "Net, The"})-[:DIRECTED*2]-() RETURN relationships(p) as r
返回结果：
╒═══════╕
│"r" │
╞═══════╡
│[{},{}]│
├───────┤
│[{},{}]│
├───────┤
│[{},{}]│
├───────┤
│[{},{}]│
└───────┘
MATCH p=(m:Movie {title: "Net, The"})-[:DIRECTED*]-() RETURN relationships(p) as r
返回结果：
╒═══════╕
│”r” │
╞═══════╡
│[{}] │
├───────┤
│[{},{}]│
├───────┤
│[{},{}]│
├───────┤
│[{},{}]│
├───────┤
│[{},{}]│
└───────┘
从上面可以看出，[:DIRECTED] 表示一层关系， [:DIRECTED* 2]表示2层关系，[:DIRECTED*] 表示任意多层关系。
Neo4j 做推荐 （1）—— 基础数据
Neo4j 做推荐 （2）—— 基于内容的过滤
Neo4j 做推荐 （3）—— 协同过滤
Neo4j 做推荐 （4）—— 基于内容的过滤（续）
Neo4j 做推荐 （5）—— 基于类型的个性化建议
Neo4j 做推荐 （6）—— 加权内容算法
Neo4j 做推荐 （7）—— 基于内容的相似度量标准
Neo4j 做推荐 （8）—— 协同过滤（利用电影评级）
Neo4j 做推荐 （9）—— 协同过滤（人群的智慧）
Neo4j 做推荐 （10）—— 协同过滤（皮尔逊相似性）
Neo4j 做推荐 （11）—— 协同过滤（余弦相似度）
Neo4j 做推荐 （12）—— 协同过滤（基于邻域的推荐）
⑧ 推荐系统（一）：基于物品的协同过滤算法
协同过滤(collaborative filtering)算法是最经典、最常用的推荐算法。其基本思想是收集用户偏好，找到相似的用户或物品，然后计算并推荐。
基于物品的协同过滤算法的核心思想就是：给用户推荐那些和他们之前喜欢的物品相似的物品。主要可分为两步：
(1) 计算物品之间的相似度，建立相似度矩阵。
(2) 根据物品的相似度和用户的历史行为给用户生成推荐列表。
相似度的定义有多种方式，下面简要介绍其中几种：
其中，分母 是喜欢物品 的用户数，而分子 是同时喜欢物品 和物品 的用户数。因此，上述公式可以理解为喜欢物品 的用户中有多少比例的用户也喜欢物品 。
上述公式存在一个问题。如果物品 很热门， 就会很大，接近1。因此，该公式会造成任何物品都会和热门的物品有很大的相似度，为了避免推荐出热门的物品，可以用下面的公式：
这个公式惩罚了物品 的权重，因此减轻了热门物品会和很多物品相似的可能性。
另外为减小活跃用户对结果的影响，考虑IUF(nverse User Frequence) ，即用户活跃度对数的倒数的参数，认为活跃用户对物品相似度的贡献应该小于不活跃的用户。
为便于计算，还需要进一步将相似度矩阵归一化 。
其中 表示用户 对物品 的评分。 在区间 内，越接近1表示相似度越高。
表示空间中的两个点，则其欧几里得距离为：
当 时，即为平面上两个点的距离，当表示相似度时，可采用下式转换：
距离越小，相似度越大。
一般表示两个定距变量间联系的紧密程度，取值范围为[-1,1]
其中 是 和 的样品标准差
将用户行为数据按照均匀分布随机划分为M份，挑选一份作为测试集，将剩下的M-1份作为训练集。为防止评测指标不是过拟合的结果，共进行M次实验，每次都使用不同的测试集。然后将M次实验测出的评测指标的平均值作为最终的评测指标。
对用户u推荐N个物品(记为 )，令用户u在测试集上喜欢的物品集合为 ，召回率描述有多少比例的用户-物品评分记录包含在最终的推荐列表中。
准确率描述最终的推荐列表中有多少比例是发生过的用户-物品评分记录。
覆盖率反映了推荐算法发掘长尾的能力，覆盖率越高，说明推荐算法越能够将长尾中的物品推荐给用户。分子部分表示实验中所有被推荐给用户的物品数目(集合去重)，分母表示数据集中所有物品的数目。
采用GroupLens提供的MovieLens数据集， http://www.grouplens.org/node/73 。本章使用中等大小的数据集，包含6000多用户对4000多部电影的100万条评分。该数据集是一个评分数据集，用户可以给电影评1-5分5个不同的等级。本文着重研究隐反馈数据集中TopN推荐问题，因此忽略了数据集中的评分记录。
该部分定义了所需要的主要变量，集合采用字典形式的数据结构。
读取原始CSV文件，并划分训练集和测试集，训练集占比87.5%，同时建立训练集和测试集的用户字典，记录每个用户对电影评分的字典。
第一步循环读取每个用户及其看过的电影，并统计每部电影被看过的次数，以及电影总数；第二步计算矩阵C，C[i][j]表示同时喜欢电影i和j的用户数，并考虑对活跃用户的惩罚；第三步根据式\ref{similarity}计算电影间的相似性；第四步进行归一化处理。
针对目标用户U，找到K部相似的电影，并推荐其N部电影，如果用户已经看过该电影则不推荐。
产生推荐并通过准确率、召回率和覆盖率进行评估。
结果如下所示，由于数据量较大，相似度矩阵为 维，计算速度较慢，耐心等待即可。
[1]. https://blog.csdn.net/m0_37917271/article/details/82656158
[2]. 推荐系统与深度学习. 黄昕等. 清华大学出版社. 2019.
[3]. 推荐系统算法实践. 黄美灵. 电子工业出版社. 2019.
[4]. 推荐系统算法. 项亮. 人民邮电出版社. 2012.
[5]. 美团机器学习实践. 美团算法团队. 人民邮电出版社. 2018.
⑨ 学IT的，写了一个电影推荐系统，但是为什么评分预测值大于五
全文以“预测电影评分”例子展开
r(i,j)=0则表明user_j没有对movie_i 没有评分，
推荐系统要做的就是通过预测user_j对这些movie {i|r(i,j)=0}的评分来给user_j 推荐其可能会喜欢的电影<预测评分较高的movie>
=======================================二、基于内容的推荐=======================================
对每个movie_i引入特征x(i)=(x1, x2)，这种特征可能表明user对movie类型的偏好：浪漫or动作等
对于每个user引入一个参数theta，然后对评分矩阵的每列(对应一个user)做线性回归，数据是{ (x(i), y(i,j)) |r(i,j)=1，for some j all i}
像机器学习一样，x(i)添加个1变量x(i)=(1, x1, x2)
那么对于未评分的movie_t，我们可以使用线性回归训练的参数theta与对应特征x(t)做内积来得到其预测评分
对每个用户都训练一个参数theta_j，优化模型如下：
优化算法：注意正则项是不约束x(i)=(1, x1, x2)中1对应的参数theta的第一项theta0，所以k=0与k=1,2分别对待
=======================================三、协同过滤=======================================
现在换个角度：如果知道theta for all user j，如何来预测x(i) = (x1, x2) all i
仍然可以使用线性回归，为训练每个x(i)，需要评分矩阵的第i行数据{ (x(i), y(i,j)) |r(i,j)=1，for some i all j}
theta_j = (0, theta1, theta2) ；theta1=5说明user_j喜欢romance类movie， theta2=5说明user_j喜欢action类movie，只能有一个等于5哦，
我觉得也可以是：theta_j = (0, 4, 1) ；喜欢romance 4 action 1.
对应的优化：
协同过滤：交替优化theta与x
=========================================四、协同过滤算法=======================================
优化：
优化：注意去掉了theta和x的添加项
=========================================五、实现细节补充=======================================
实现细节：
如果有user没有对任何电影评分或者所有评分的电影都是0分，那么所学习到的参数是零向量，
则预测都是0值，这是不合理的。通过 将评分矩阵减去其行均值再进行线性回归来“避免”这种情况
=========================================六、一点思考==========================================
协同过滤那块，同时优化theta、x，这样得到的theta、x还有特定的意义<比如：x是否还表征对影视类型的喜爱与否>没有？
回归中，在x数据上不添加1-feature是不是因为后来引入的平均值化；如果不是，那会对结果有什么影响？
用x-feature来表征一个movie，x-feature的各分量的可解释性；应该会有一部分user应为演员的缘故有一些"偏爱"。
这里，讲的"基于内容的推荐"与"协同过滤"跟以前对这两个词的认识/所指内容不同，查清楚、搞明白。
这周还会再更一篇关于此节课的算法实现，会对上述部分问题做出回答。
⑩ 推荐算法小结
输入 ：与用户相关的包含众多特征（feature）的数据：
用户的注册信息（职业、年龄、性别等 显信息），行为信息（使用功能、有效使用时长等 隐信息）。
输出 ：推荐给用户的功能列表（根据得分高低排序）
函数 ： 传统算法 、 机器学习算法 （Machine Learning）、 深度学习算法 （Deep Learning）
基于流行度的算法非常简单粗暴，类似于各大新闻、微博热榜等，根据VV、UV、日均PV或分享率等数据来按某种热度（加权）排序来推荐给用户。
访问次数 （VV）：记录1天内所有访客访问了该网站多少次，相同的访客有可能多次访问该网站，且访问的次数累加。
独立访客 （UV）：记录1天内所有访客访问了该网站多少次，虽然相同访客能多次访问网站，但只计算为1个独立访客。
PV访问量 （Page View）：即页面访问量，每打开一次页面或者刷新一次页面，PV值+1。
优点：该算法简单，适用于刚注册的新用户
缺点：无法针对用户提供个性化的推荐
改进：基于该算法可做一些优化，例如帆唤加入用户分群的流行度进行排序，通过把热榜上的体育内容优先推荐给体育迷，把政要热文推给热爱谈论政治的用户。
基于用户的协同过滤推荐算法 （UserCF）：针对目标用户（A），先通过兴趣、爱好或行为习惯找到与他相似的“其他用户”（BCD...），然后把BCD...喜欢的并且A没有浏览过的物品或功能推给A。
基于物品的协同过滤推荐算法 （ItemCF）：例如由于我之前看过张艺谋导演的《英雄》这部电影，会给我推荐《红高粱》、《归来》等同导演电影。
1）分析各个用户对物品的评价，通过浏览记录、购买记录等得到用户的隐性评分；
2）根据用户对物品的隐性评分计算得到所有用户之间的相似度；
3）选出与目标用户最相似的K个用户；
4）将这K个用户隐性评分最高并且目标用户又没有浏览过的物品推荐给目标用户。
优点：
基于用户的协同过滤推荐算法是给目标用户推荐那些和他有共同兴趣的用户喜欢的物品，所以该算法推荐较为社会化，即推荐的物品是与用户兴趣一致的那个群体中的热门物品；
适于物品比用户多、物品时效性较强的情形，否则计算慢；
能实现跨领域、惊喜度高的结果。
缺点：
在很多时候，很多用户两两之间的共同评分仅有几个，也即用户之间的重合度并不高，同时仅有的共同打了分的物品，往往是一些很常见的物品，如票房大片、生活必需品；
用户之间的距离可能变得很快，这种离陆轿正线算法难以瞬间更新推荐结果；
推荐结果的个性化较弱、较宽泛。
改进：
两个用户对流行物品的有相似兴趣，丝毫不能说明他们有相似的兴趣，此时要增加惩罚力度；
如果两个用户同时喜欢了相同的物品，那么可以给这两个用户更高的相似度；
在描述邻居用户的偏好时，给其最近喜欢的物品较高权重；
把类似地域用户的行为作为推荐的主要依据。
1）分析各个用户对物品的浏览记录；
2）依据浏览记录分析得出所有物品之间的相似度；
3）对于目标用户评价高的物品，找出与之相似度最高的K个物品；
4）将这K个物品中目标用户没有浏览过的物品推荐给目标用户
优点：
基于物品的协同过滤推荐算法则是为目标用户推荐那些和他之前喜欢的物品类似的物品，所以基于物品的协同过滤推荐算法的推荐较为个性，因为推荐的物品一般都满足目标用户的独特兴趣。
物品之间的距离可能是根据成百上千万的用户的隐性评分计算得出，往往能在一段时间内保持稳定。因此，这种算法可以预先计算距离，其在线部分能更快地生产推荐列表。
应用最广泛，尤其以电商行业为典型。
适于用户多、物品少的情形，否则计算慢
推荐精度早悔高，更具个性化
倾向于推荐同类商品
缺点：
不同领域的最热门物品之间经常具有较高的相似度。比如，基于本算法，我们可能会给喜欢听许嵩歌曲的同学推荐汪峰的歌曲，也就是推荐不同领域的畅销作品，这样的推荐结果可能并不是我们想要的。
在物品冷启动、数据稀疏时效果不佳
推荐的多样性不足，形成信息闭环
改进：
如果是热门物品，很多人都喜欢，就会接近1，就会造成很多物品都和热门物品相似，此时要增加惩罚力度；
活跃用户对物品相似度的贡献小于不活跃的用户；
同一个用户在间隔很短的时间内喜欢的两件商品之间，可以给予更高的相似度；
在描述目标用户偏好时，给其最近喜欢的商品较高权重；
同一个用户在同一个地域内喜欢的两件商品之间，可以给予更高的相似度。
（相似度计算：余弦相似度、Jaccard系数、皮尔森相关系数等）
常见经典 ML 分类算法：
逻辑回归 （Logistics Regression）
支持向量机 （SVM）
随机森林 （Random Forest）
提升类算法 （Boosting）：Adaboost、GBDT、XGboost
一般处理流程：数据处理 -> 特征工程 -> 模型选择 -> 交叉验证 -> 模型选择与模型融合
特征清洗 ：剔除不可信样本，缺省值极多的字段不予考虑
特征预处理 ：单个特征（归一化，离散化，缺失值补全，数据变换），多个特征（PCA/LDA降维，特征选择）
使用工具 ：pandas（python开源库）
模型选择与模型融合 ：根据交叉验证得分选择前几名模型，然后进行模型融合（Bagging、Boosting、Stacking）
DL 优势 ：ML 中特征工程是十分重要并且要根据行业经验确定，DL 可以自己从数据中学习特征。DL 能自动对输入的低阶特征进行组合、变换，得到高阶特征。对于公司产品应用领域来说，用户的注册信息（职业、年龄、性别等 显信息），行为信息（使用功能、有效使用时长等 隐信息）。这些就可以作为低阶特征输入。
RNN系列 （处理文本数据）
CNN系列 （处理图像数据）
DNN （处理一般性分类）