PDF《本报告总结了作者在站期间的主要研究工作；对北大天网中文搜》

27 2.4 日志中不同查询串、用户量和 URL 数量满足 HEAPS 定律

28 2.5 结论

29 第3章中文 Web 查询趋势分析

31 3.1 引言

31 3.2 数据集与实验设计

31 3.2.1 数据集.31 3.2.2 实验设计

33 3.3 实验结果及其分析

34 3.3.1 查询级.34 3.3.2 会话级.34 3.3.3 结果页面查看

35 3.3.4 语言的使用

36 3.3.5 用户点击行为特征

37 3.3.6 查询与点击次数的关系.38 3.3.7 查询主题的迁移情况

38 3.4 结论

39 第4章多任务中文 Web 查询分析

40 4.1 引言

40 4.2 数据集与实验设计

41 4.3 实验结果

42 4.4 讨论

45 4.5 结论

45 第5章基于搜索引擎日志发现相关 Web 查询

46 5.1 引言

46 5.2 相关工作

47 5.3 相关查询的性质与支持向量回归.48 5.3.1 相关查询的性质.48 目录?7?5.3.2 支持向量回归

49 5.4 实验

51 5.4.1 数据准备

51 5.4.2 训练数据

52 5.4.3 评估度量

53 5.4.4 实验结果

53 5.5 结论

54 参考文献.56 后记62 附录 博士后期间的主要工作

63 致谢65 第1章搜索引擎日志挖掘研究框架 ?

8 ? 第1章 搜索引擎日志挖掘研究框架 通过对现有国内外研究成果的对比与分析, 本章提出了一个 Web 搜索 引擎日志挖掘研究框架.主要包括日志挖掘的内容、数据集的选择、数据 预处理的方法、所采用的技术、对搜索引擎系统的改进,不同地域用户查 询行为的比较. 1.1 引言万维网(WWW 或Web)可以看作是一个分布式动态快速增长的由各 类文档组成的海量信息资源中心, 其信息量呈几何指数增长,到2005 年9月全球用户量最大的搜索引擎 Google 已索引到 80.58 亿个网页;

2005 年4月中国互联网络信息中心发布的中国互联网络信息资源数量调查报告 (CNNIC 2005)显示:国内内容不重复的网页至少有 8.67 亿个. Web 页面是万维网上可通过 http 协议访问的一类文档,即我们常说的 网页,它的一个主要特点是网页上包含大量的超链信息,如果把网页看作 节点,超链看作有向边的话,那么整个 Web 就构成了一个有向图;

该有向 图中页面的分布呈蝴蝶结状(Broder et al. 2000).现在人们广泛使用的搜索 引擎系统就是通过程序自动地遍历这个有向图,抓取和分析网页,建立索 引,为用户提供服务.目前搜索引擎已经成为继 email 之后人们用得最多 的网上信息服务系统,约有 80%以上的用户利用 Web 搜索引擎去查询 WWW 上的有用信息(Media 1997). 简单来说,Web 搜索引擎(search engine,SE)就是 Web 上的一种应 用软件系统,它以一定的策略在 Web 上搜集和发现信息,对信息进行处理 和组织后,为用户提供 Web 信息查询服务. 搜索引擎的工作原理来源于信息检索(Information Retrieval,或IR) 的理论, 但其用户的检索行为与传统的IR系统,如在线数据库(OLDB)、光 盘检索(CD-ROM)、 联机公共检索目录 (OPAC) 等, 存在很大的差异(Jansen et al. 2000),如用户的并发访问量比较大,查询内容比较宽泛,用户的查 询不需要任何领域知识等. 用户与搜索引擎的交互过程可简述为:用户在查询框内输入一个查询 第1章搜索引擎日志挖掘研究框架 ?

9 ? 串(query),经搜索引擎内部进行分析和处理后得到几百甚至上万条相关记 录,每若干条记录(如10 个记录)组成一个 Web 页面,每条记录都代表 着一个网页(或称一篇文档)入口,它包含了该文档的标题、在Web 上的 位置(URL)、网页内容摘要等信息.用户可以由此判断该记录所指向的 网页是否包含自己感兴趣的内容,并决定是否点击该 URL 而详细浏览. 搜索引擎日志记录了用户与系统的交互相关信息,不同搜索引擎的日 志记录格式不同,但一般都包括用户访问的时间、用户的IP地址、输入的 查询、用户所点击的URL、点击的时间以及点击URL的序号等.这些信息 通常作为日志形式存入磁盘文件系统中. 搜索引擎日志挖掘研究可以看作 Web 挖掘中的一种使用记录挖掘 ( Web usage mining), 即从用户查询行为中抽取有意义的模式.具体地,研 究用户如何使用 Web 搜索引擎?用户在 Web 上查找什么样的信息? 整体 或单个用户的查询具有什么样的特征与规律?如何利用这些用户的访问信 息改进........