PDF《博士研究生学位论文》

博博博士 士 士研 研 研究 究 究生 生 生学 学 学位 位 位论 论 论文 文文题目:基于点击日志分析的搜索引擎质量评价方法 姓名:何靖学号:10748865 院系:信息科学技术学院 专业:计算机系统结构 研究方向:搜索引擎和网上信息挖掘 导师姓名:李晓明教授二一一年四月 版权声明 任何收存和保管本论文各种版本的单位和个人,未经本论文作者同意,不 得将本论文转借他人,亦不得随意复制、抄录、拍照或以任何方式传播.

否则,引起有碍作者著作权之问题,将可能承担法律责任. 中文摘要摘要搜索引擎质量评价是一个非常重要的问题.对于使用者,它可以帮助他们 选择合适的搜索引擎,找到满足信息需求的信息;

对于搜索引擎的研究和开发 人员,它能够帮助他们比较各组件算法的好坏,发现系统瓶颈,从而改进服务 质量. 传统的搜索引擎评价方法基于Cran?eld范式.Cran?eld范式的提出已经有

五、六十年的历史,当代的搜索引擎发生了很大的变化,使得Cran?eld范式不 再完全适用于当代搜索引擎质量的评价.首先,当代搜索引擎处理的查询和文 档的规模大大增加,获得一个可靠的信息需求-文档相关性标注集合将越来越困 难.其次,当代搜索引擎的功能不只是返回用户一个文档列表,它们一般具有 更多的功能特性(如对每个文档产生一个和查询相关的摘要等).这些功能模 块的质量会直接影响用户的使用体验,因此需要有针对这些新的功能模块的新 的评价方法. 为了解决以上使用Cran?eld范式对搜索引擎质量进行评价中出现的困难, 本文研究通过分析搜索用户的点击日志,对搜索引擎的质量进行准确而高效地 评价的方法.这种方法不要求大量的信息需求-文档的相关性关系的标注,从而 大大减少了搜索引擎质量评价所需的人力代价和时间代价.它自动地分析搜索 用户的点击日志,从中提取能够反映搜索引擎质量的特征,然后利用这些特征 来评价搜索引擎的好坏.本文提出两种利用用户点击日志评价搜索引擎质量的 方法.第一种方法通过归并两个搜索引擎的结果,展示给用户,然后使用规则 从用户的点击中推测出哪个搜索引擎更好的结论.第二种方法通过展示(一个 或两个)搜索引擎的结果,使用用户点击模型从用户点击中推测出文档/展示信 息的特征,然后综合这些特征来评价搜索引擎的质量. 概括起来,本文的贡献如下: 1. 本文提出了一种对搜索引擎归并-比较方法进行系统评价的框架,以及一 种基于位置信息的归并-比较方法.一种常用的利用用户点击日志进行搜 索引擎评价的方法是归并-比较方法.它归并两个搜索引擎的结果,展现 给用户,通过发现用户更加倾向于点击归并结果中哪一个搜索引擎的结 果,来获得哪个搜索引擎质量较好的结论.但是,并没有一种对这些归 并-比较方法进行评价的框架,来比较这些方法的好坏.本文提出一种对 C I C 中文摘要归并-比较方法进行系统评价的框架,该框架可以模拟在各种情境下搜索 引擎和用户之间的交互,从而可以测试归并-比较方法在各种情境下的相 对优劣.通过对各种归并-比较方法的评测结果的分析,发现已有方法具 有一个普遍的弱点:它们一般只是对文档的点击次数进行计数,而并没有 有效地利用文档在原始排序结果中的位置信息,因此会造成一些误判.而 相关/不相关文档在原始文档序列中的位置,对于评价搜索引擎的结果也 有非常重要的影响.我们提出基于位置信息的归并-比较方法,从而提高 了比较结果的准确性. 2. 本文提出了基于用户满意程度和用户浏览时间的点击模型.很多研究发 现,搜索用户比较倾向于点击比较靠前的文档.这种现象通常被称为信任 偏差,我们分析了这一现象的来源.通过对用户点击日志的分析,我们发 现,使用查看假设和级联假设,对用户的浏览行为和文档特征进行建模, 就可以解释信任偏差这一现象.进一步的,我们提出用户满意度点击模 型.这一模型假设用户的满意程度会决定他是否继续浏览搜索结果,其中 用户满意程度可以通过所有已经点击过的文档的相关性进行估计.我们还 提出用户浏览时间点击模型.这一模型假设文档原文的相关性程度会影响 用户浏览文档的时间,所以可以通过用户浏览文档的时间来推测文档相关 程度.两种模型在预测用户点击的能力上,都取得了比现有的点击模型更 好的效果. 3. 本文提出了一种用于搜索引擎评价的高效收集文档相关性特征的方法.这 种方法能够提高评测的效率,不仅能够缩短评测周期,还能够提高在低频 查询上评测的可靠程度.这种方法动态地度量文档对于搜索引擎评价的影 响程度,然后对搜索结果的展示顺序进行重新排序,使用户比较容易看到 对评测结果影响较大的文档,从而吸引用户提供关于这些文档的反馈信 息,从而能够从用户较少次数的反馈中获取更有价值的评价信息. 4. 本文提出一种综合更多搜索引擎特性的指标:有效时间比.有效时间比是 指用户用于获得相关信息的时间占总搜索时间的比例.直观上说,有效时 间比越高,说明用户相对浪费的时间越少,从而获得的收益越大.对于不 提供文档展示信息的搜索系统,该指标等价于系统的精度.这种指标的一 个好处是综合搜索引擎的更多特征.特别的,它可以综合检索系统的检索 准确率特征和文档摘要生成系统的摘要生成质量特征.通过实验发现,这 种指标能够更好地反映用户使用搜索引擎的满意程度. C II C 中文摘要关键词:搜索引擎评价,用户点击日志,日志挖掘 C III C 英文摘要Evaluating Search Engines by Clickthrough Data Jing HE(Computer Science and Technology) Directed by Professor Xiaoming Li The evaluation is a very important problem for search engines: For users, it helps them to select an appropriate search engine to ?nd information they needs;