PDF《第六届“泰迪杯” 数据挖掘挑战赛》

第六届 泰迪杯 数据挖掘挑战赛 优秀作品作品名称:基于协同过滤的电视产品个性化推荐 荣获奖项:特等奖 作品单位:重庆第二师范学院 作品成员:胡怡 刘凤 柳倩 指导老师:舒巧媛 基于协同过滤的电视产品个性化推荐 摘要:本文使用基于协同过滤的算法处理用户观看节目的数据,一共解决 了两个问题:

1、为用户推荐新的电视节目;

2、对用户进行画像分析,为用户打 上个性化标签.

对于问题 1,首先,本文根据收视和回看的历史信息对数据进行预处理,通 过删去观看时间不足

5 分钟的信息, 得到每个用户对每个频道的观看时间占比及 观看频率.其次,通过将用户观看频率与观看时间按一定权重进行整理,用基于 用户的协同过滤算法(userCF),计算出用户相似度矩阵.接着,根据用户点播信 息,计算得到节目点播金额占比、观看时间占比及观看频率,同样按一定权重进 行整理,得到点播用户总频率,通过基于物品的协同过滤算法(itemCF),计算节 目相似度矩阵.然后利用节目的相似度和用户的历史收视数据,给点播用户生成 推荐列表(见表 8) ;

根据用户相似度矩阵与点播用户总频率,生成未点播用户 推荐列表(见表 9) ;

整合点播与未点播用户推荐表.运用同样的方法整理附件

2 的电视产品数据.最后,整合附件

1 与附件

2 的推荐表,得到用户推荐节目清单 (见表 10) . 对于问题 2,首先,根据节目类型和适宜人群构建附件

2 中的产品标签体系 (见表 12) .其次利用入网时间、观看节目及观看时间,构建用户标签体系(见表17) .然后,建立标签编号,为电视产品信息进行标签编号,得到产品数据标 签,进而得到已标签用户推荐表.最后,结合用户相似度矩阵,计算未标签用户 的标签推荐列表,最终整合得到用户数据标签及用户推荐标签(见表 22) . 关键词:协同过滤;

userCF 算法;

itemCF 算法;

用户画像;

电视产品推荐

1 绪论 1.1 背景 在互联网技术日益发展和进步的时代,各种数据呈现井喷式增长状态,仅2017 年 双十一 天猫旗下购买物品所产生的交易额最终定格在

1682 亿元,其中,无线成交额就占据了

90 个百分点.这部分数据十分庞大,但对于当今大数 据时代所产生的数据总和来说,却只不过是冰山一角.并且互联网的发展还不仅 局限于购物,它已经渗透到了生活的各个方面.那么,该如何在这海量的数据中 为用户找到并推荐有价值的信息, 这一问题已成为当今大数据时代面临的一个重 大挑战. 协同过滤(Collaborative Filtering)是现今推荐系统中应协同过滤用最为成熟 的一个推荐算法系类,它利用兴趣相投、拥有共同经验之群体的喜好来推荐使用 者感兴趣的资讯,个人透过合作的机制给予资讯相当程度的回应(如评分)并记 录下来以达到过滤的目的进而帮助别人筛选资讯. 有优点就有缺点,缺点主要体现在:由于依赖用户的行为,捕捉新视频,实 时热点视频能力较弱(即Item 的冷启动问题) ;

结果由于依赖其他用户的行为, 可解释性不强.有时候会发现推荐了一些用户不可理解的内容,著名的例子就是 推荐中的 哈利波特 问题.运营编辑人员无法显性的干预推荐结果,对于强媒 体属性的公司,这种支持强干预、抗风险能力是必须的. 1.2 问题重述 问题一:产品精准营销推荐 利用附件