PDF《百度基础技术研发》

百度基础技术研发 百度基础技术研发 赵世奇 百度 赵世奇 百度 2012-08-16 定位 定位 前瞻 通用 通用 基础 基础 研究内容 研究内容 声图文声图文研发内容 研发内容 自然语言处理 ? 自然语言处理 ? 互联网数据 互联网数据 CSpider 互联网数据挖掘 C互联网数据挖掘 ? 多媒体 C语音 C视觉 视觉 百度自然语言处理全景图 百度自然语言处理全景图 机机器器翻翻译译应用 输输入入法法OCR OCR 篇章级单文档分析 - 网页主题抽取 - 页面质量分析 多文档分析 - 分类聚类 - 特征提取 应用 全产品线 基础数据 基础数据 基本句级语法分析 语义分析 意图分析 级 页面质量分析 特征提取 基础数据 基础数据 通用模型 通用模型 本模短语级结构分析 - Term重要性 - 成分分析 - 组块分析 变形变换 - 统一改写框架 短串分类 - Query需求分类 - 主题分类 前瞻研发 前瞻研发 解决方案 解决方案 块词汇粒度控制 - 基本分词 - 未登录词识别 属性标注 - 专名分类 - 需求词标记 关系模型 - 搭配关系 - 词相似度 解决方案 解决方案 应用订制 应用订制 规规则则方方法法统计与机器学习方法 统计与机器学习方法 基本方法 汇级未登录词识别 - 词内部成分分析 需求词标记 - 词性标记 - 序列注音 词相似度 - 语言模型 - Ontology 知识共享 知识共享 规规则则方方法法统计与机器学习方法 统计与机器学习方法 基本方法 词词典典语语料料网页数据 网页数据 用户数据 用户数据 基础资源 NLP业务 NLP业务 ? 基础模型与算法 ? 基础模型与算法 C 统计机器学习模型 ? 基础数据与技术 基础数据与技术 C 基础语言资源 C 用户数据 词法 句法 语义及篇章分析 C 词法、句法、语义及篇章分析 ? 应用技术 C Query处理技术 y C 用户理解和通用表示空间构建 ? 独立产品 机器翻译 C 机器翻译 C 输入法 C OCR Ontology建设与应用 Ontology建设与应用 提纲 提纲 Ontology应用价值 Ontology构建 新词挖掘 Ontology应用价值 Ontology构建 ― 新词挖掘 Ontology构建 关系挖掘 Ontology构建 ― 关系挖掘 Ontolog 应用实例 Ontology应用实例 Ontology应用意义 Ontology应用意义 联应?互联网应用 C 基础应用:分词与专名识别 ? 新词/专名的挖掘、分类与属性计算 C 互联网搜索:从传统搜索到语义搜索 丰富的 户引导与知识展 ? 丰富的用户引导与知识展现 C 推荐与个性化:用户建模的底层框架 将用户模型映射到O t l 的知识结构 ? 将用户模型映射到Ontology的知识结构 C 自动问答:问答系统的知识基础 ? 提供事实性问题的精准答案 ? 提供事实性问题的精准答案 C…… Ontology应用意义 Ontology应用意义 应 中体 的新问 ? 应用中体现的新问题 C 新词层出不穷 ? 各类专名(电影、网络红人等)、新词等不断涌现 C 知识动态变化 如 价格 等类别的属性 相关实体 等类别的关系 ? 如 价格 等类别的属性、 相关实体 等类别的关系 C 涉及领域繁多 应用的方方面面 母婴 医疗 旅游 美食 娱乐 ? 应用的方方面面:母婴、医疗、旅游、美食、娱乐…… C 数据规模巨大 ? 亿级别数量级 ? 亿级别数量级 C 挖掘方法多样 ? 往往是将多种方法的挖掘结果融合在一起 往往是将多种方法的挖掘结果融合在 起 提纲 提纲 Ontology应用价值 Ontology构建 新词挖掘 Ontology应用价值 Ontology构建 ― 新词挖掘 O t l 构建 关系挖掘 Ontology构建 ― 关系挖掘 Ontolog 应用实例 Ontology应用实例 属性计算与粒度控制 专名动态属性计算 专名粒度计算 结果数据 热度 / 突发度 / 紧密度等 解决边界错误问题, 如半截词、多余后缀 新词资源平台(新词,专名, 类别,属性) 新词领域分类 专名类型分类 新词/专名分类 中间数据 新词领域分类 专名类型分类 林丹 林丹 候选新词/专名 中间数据 体育 明星 候选新词/专名 基于特定站点的新词挖掘 新词挖掘 基于query log 基础数据 基于特定站点的新词挖掘 基于query log 的新词挖掘 站点发现 站点监控 挖掘用户搜索 行为 统计高频 Query log 指定站点网页 专名挖掘 行为,统计高频 新词 Query log 指定站点网页 基于用户日志的中文新词挖掘C新词分类 户日 的中文新词挖掘 新词分类 Query URL URL Query 孙杨400自金牌 羽毛球消极比赛 滇池收费 sports.

163.com/special/s/swzz.html news.sohu.com/s2011/xuliya/ sports

163 com/special/s/swzz html sports.163.com/special/s/swzz.html news.sohu.com/s2011/xuliya/ sports

163 com/special/s/swzz html 孙杨400自金牌 羽毛球消极比赛 滇池收费 滇池收费 叙利亚局势 孙杨1500米世界纪录 小威战胜莎拉波娃 台 拉登 sports.163.com/special/s/swzz.html business.sohu.com/20120805/n349873360.shtml 2012.sina.com.cn/g/sunyang/ http://2012.sohu.com/20120805/n349880920.shtml sports.163.com/special/s/swzz.html business.sohu.com/20120805/n349873360.shtml 2012.sina.com.cn/g/sunyang/ http://2012.sohu.com/20120805/n349880920.shtml 滇池收费 叙利亚局势 孙杨1500米世界纪录 小威战胜莎拉波娃 台 拉登 点击 点击 台风苏拉登录 接力孙杨铜牌 自由泳200米孙杨 小威廉姆斯 莎拉波娃 http://2012.sohu.com/20120805/n349880074.shtml sz.bendibao.com/news/2012730/406495.htm sports.qq.com/a/20120625/000939.htm news cntv cn/sport/20120801/104103 shtml http://2012.sohu.com/20120805/n349880074.shtml sz.bendibao.com/news/2012730/406495.htm sports.qq.com/a/20120625/000939.htm news cntv cn/sport/20120801/104103 shtml 台风苏拉登录 接力孙杨铜牌 自由泳200米孙杨 小威廉姆斯 莎拉波娃 点击 点击 小威廉姆斯 莎拉波娃 孙杨 朴泰桓 伦敦碗造价 斗破苍穹 news.cntv.cn/sport/20120801/104103.shtml sports.eastday.com/s/20120731/u1a6745682.html dpcq.yegame.com/ sports.qq.com/a/20120726/000221.htm news.cntv.cn/sport/20120801/104103.shtml sports.eastday.com/s/20120731/u1a6745682.html dpcq.yegame.com/ sports.qq.com/a/20120726/000221.htm 小威廉姆斯 莎拉波娃 孙杨 朴泰桓 伦敦碗造价 斗破苍穹 输入: 给定类别的URL模板 输出: 给定类别的新词(点 给定类别的URL模板 给定类别的新词(点 击给定类别的URL) 基于用户日志的中文新词挖掘 - URL模板挖掘 户日 的中文新词挖掘 模板挖掘 Query URL Query URL 孙杨400自金牌 羽毛球消极比赛 滇池收费 sports.163.com/special/s/swzz.html news.sohu.com/s2011/xuliya/ sports

163 com/special/s/swzz html 孙杨400自金牌 羽毛球消极比赛 滇池收费 sports.163.com/special/s/swzz.html news.sohu.com/s2011/xuliya/ sports

163 com/special/s/swzz html 滇池收费 叙利亚局势 孙杨1500米世界纪录 小威战胜莎拉波娃 台 拉登 sports.163.com/special/s/swzz.html business.sohu.com/20120805/n349873360.shtml 2012.sina.com.cn/g/sunyang/ http://2012.sohu.com/20120805/n349880920.shtml 滇池收费 叙利亚局势 孙杨1500米世界纪录 小威战胜莎拉波娃 台 拉登 sports.163.c........