DOC《南京林业大学》

数据仓库;

Mashup框架;

OLAP;

ABSTRACT Business Intelligence (BI) is a collection of decision support technology which could turn large amounts of data stored in various information system into useful information, enable enterprise to turn available data into knowledge, and help executives make smarter decisions. In the development of enterprise growing strong, business intelligence plays a vital role, and enables enterprise know the latest trend of changing business environment in order to make smarter and faster decisions. The core technologies of business intelligence contain data warehouse, OLAP, data mining, and front-end tool. Nowadays, BI front-end tool is developing from C/S structure to B/S structure, especially focused on the ability of interaction with users. In fact, more and more BI front-end tools provide users with a design tool similar to programmer and a library of controls with various data display and process function. On this point, the application of BI front-end tool is similar to Mashup based on Web. Mashup is a new trend on web and is a new type of information service. It packages different kinds of services on web through the form of control, allow users build up controls through the combination of controls, and create new services. However, BI front-end tool based on controls or Mashup on web, both of them create applications through the combination of controls, and they require users bind the incident response manually in order to meet the demands of users interaction, which will bring difficulty to users designing and application creating. Olikview, as the only one front-end tool I have known, could realize associated data update automatically and then offer the ability of interaction with users. Qlikview could spot the logical relation of the data contained by each control, and then distinguish whether the data needed to be updated or not as users click on it. But with the concept of no data warehouse, Qlikview could only be used as its own BI platform or BI front-end tool for related database, rather than traditional data warehouse and OLAP structured BI platform. The article incorporates the similarity of BI front-end tools and Mashup in function, and points out the BI front-end tool based on Mashup. While realizing traditional BI front-end tool function through the library of control, with the help of Mashup'

s high integration with web service, it introduces public web service to BI front-end tool and riches BI front-end functions. It also proposes a data automatic related logical structure OLAP-AQL for OLAP data sources, adds to BI front-end tool based on Mashup, and provide data automatic related ability similar to Qlikview. To solve the low efficiency bringing from complexity of OLAP operation, the article presents OLAP query recommendation method based on Markov chain, design and realize a practical system which could apply this method to model through history query and predict users future query operation. KEY WORDS: Business Intelligence;

Data Warehouse;

Mashup;

OLAP

第一章 前言 1.1研究背景 商业智能是一种将存储于各种信息系统中的数据转换成有用信息的技术,它可以帮 助企业将现有的数据转化为知识,帮助企业的管理层做出明智的业务经营决策.在企业发展强大的过程中,商业智能扮演着极其重要的角色,它使企业能够准确的把握发展变化的商业环境,准确快速的做出明智的决策.商业智能中的核心技术包括数据仓库、联机分析处理、数据挖掘以及前端工具. 1.1.1商业智能概述 目前,广为接受的商业智能的定义是在1989年由Garnter Group的研究员Howard Dresner提出的,他指出 商业智能是一系列的概念和方法,通过应用基于事实的支持系统,来辅助商业决策的定制 .在技术上,商业智能是将数据仓库、联机分析处理(OLAP)、数据挖掘、前端工具等结合起来应用于商业活动中,所以说商业智能更像是一种综合的解决方案,而不是什么新技术.这里面,数据仓库技术解决了企业当中多数据源数据的汇总和历史数据存储的问题,OLAP与数据挖掘工具解决了海量数据分析处理的问题.商业智能前端工具负责直接与用户进行交互,通过商业智能前端工具,用户能够调用商业智能平台所提供的各类数据分析服务,是一个实现了数据浏览和分析等操作的可视化、交互式的应用.他对于商业智能用户获取决策数据,进行科学的数据分析,辅助决策人员进行科学的决策显得十分重要. 1.2研究现状 1.2.1商业智能框架体系 图1-1 商业智能体系结构 针对上图1-1所示商业智能体系结构中所包含的各个模块的功能解释如下. 数据仓库:数据仓库是整个商业智能数据存储环境的核心,是数据存放的地方和提供数据检索的支持.相对于传统的操作型数据库来说其突出特点是对海量数据的支持和快速检索. 数据抽取(ETL):即数据采集、抽取、转换、加载的过程.ETL系统按照预先定义的任务定时调度表,定期自动把各个业务系统的新增数据经过转换后,加载到数据仓库.由于数据来源于采购、生产、仓储、销售、物流、财务、人力资源等各个系统,因此ETL必须要保证数据的一致性、可靠性和准确性.数据质量控制模块需要与数据获取模块集成在一起,检查质量控制功能在从源数据环境转换到目的环境的全过程中是否按照正确的顺序完成,以保证进入到数据仓库中的数据是可靠的数据源. 商业智能前端工具:为用户访问数据仓库,调用OLAP服务和数据挖掘等服务提供了手段. 按照上述的商业智能架构,商业智能系统通常从原有的业务系统中将相关业务数据进行抽取、清洗、加工、整理、加载到数据仓库中,形成基础的分析数据的存储.然后企业根据自身业务的情况,在数据仓库上建立适合自己的数据立方体,用户可以通过商业智能前端工具浏览数据,访问各类分析服务. 1.2.2 商业智能前端工具 商业智能的成功很大程度上依赖于商业智能前端工具.如果最终用户不能通过前端工具方便的浏览分析数据,进行分析决策,那么无论后台系统如何强大,也无法发挥系统的功能. 1. Arcplan Enterprise Arcplan Enterprise是应用比较广泛的商业智能软件之一,它主要包含三个部分:1)Arcplan Analytic Services,SOA架构的Web Service,用于部署分析程序.2)Arcplan Application Designer,用于设计和浏览分析程序的开发环境.3)Arcplan Adminstration Console,用于管理Arcplan Enterprise Server.Arcplan Application Designer可以被视为一个商业智能前端工具,它提供了创建和浏览分析案例的功能.Arcplan Application Designer提供了三类数据源连接:1)关系型数据库.2)OLAP数据源,可以用OLE DB for OLAP或XML for Analysis连接.3)XML文件.使用OLAP数据源的有两点好处:1)OLAP较普通的关系型数据库有强大的多维数据分析能力,前端工具可以借助OLAP提供的数据分析能力完成复杂的数据分析操作.2)OLAP数据源对外展示的是多维数据模型,而多维数据模型是以各种维度、度量组织的,可以视为一种业务模型.用户设计分析案例类似于创建一个程序(Arcplan本身将分析案例称为程序),用户通过拖拽选取数据,将数据与显示控件关联创建一个分析案例.在依赖模式下,用户还可以给不同的显示控件之间添加依赖,存在依赖关系的显示控件数据会同步更新. Arcplan Application Designer提供的依赖关系虽然在浏览时能够实现数据的关联显示,但是,这种数据依赖关系需要设计者在设计时预先考虑好.针对确定好的依赖关系,关系本身是单向的,一个控件控制另一个控件的显示.同时,创建一个依赖的过程也比较繁琐,这给使用者熟悉软件使用,快速的创建丰富的分析案例增加了难度.软件本身是桌面版,没有相应的Web版本. 2. Qlikview Qlikview也是一款比较流行的商业智能前端工具.它的最大特........