- 相關(guān)推薦
淺談數(shù)據(jù)集市技術(shù)在高校信息管理中的應(yīng)用
論文關(guān)鍵詞：數(shù)據(jù)倉庫：數(shù)據(jù)集市；AnlaysisServices(分析服務(wù)工具)；OLd(聯(lián)機(jī)分析處理)
論文摘要：高校各類信息系統(tǒng)積累了大量的數(shù)據(jù)，亟待一種方法對其進(jìn)行整合以更大限度的發(fā)揮其作用，文章針對高校特點(diǎn)提出了自底向上先建立數(shù)據(jù)集市，再集成為數(shù)據(jù)倉庫的解決方案，并針對西華師范大學(xué)學(xué)院利用SQLcSver2000建立了數(shù)據(jù)集市。
1引言
計(jì)算機(jī)技術(shù)已經(jīng)在高校教學(xué)管理工作中廣泛應(yīng)用，各種類型的信息管理系統(tǒng)在高校各部門都已建立，如學(xué)生管理系統(tǒng)、教務(wù)管理系統(tǒng)、教師信息系統(tǒng)等等，它們的開發(fā)和應(yīng)用大大提高了工作效率。但是，各類信息資源分散在各個不同的部門，缺乏統(tǒng)一的管理和組織，雖然積累了大量的數(shù)據(jù)信息，可是功能只是局限于查詢等初級的應(yīng)用，不能實(shí)現(xiàn)一些高級應(yīng)用如:OLAP分析、數(shù)據(jù)挖掘等。對這些數(shù)據(jù)信息，巫待一種方法對其進(jìn)行整合以更大限度的發(fā)揮其作用，這種方法就是建立數(shù)據(jù)倉庫。
自頂向下開發(fā)數(shù)據(jù)倉庫能最大限度地減少集成問題，是很好的開發(fā)方案。然而，數(shù)據(jù)倉庫項(xiàng)目龐大、結(jié)構(gòu)復(fù)雜、物力投人大、開發(fā)周期長，并且很難使整個組織的共同數(shù)據(jù)模型達(dá)到一致，從而缺乏靈活性。所以，高校數(shù)據(jù)倉庫的建設(shè)應(yīng)該采取漸進(jìn)式、分階段、分步驟的策略一自底向上首先設(shè)計(jì)、開發(fā)獨(dú)立的面向一個院、系、部門數(shù)據(jù)集市，待成功后再建立所有院、系、部門的數(shù)據(jù)集市，最后集成為數(shù)據(jù)倉庫。這種方式靈活性大、花費(fèi)又低，并且能快速見效，更適合高校的實(shí)際情況。
2數(shù)據(jù)倉庫的建立
對高校數(shù)據(jù)倉庫建立我們設(shè)計(jì)如下實(shí)現(xiàn)步驟(圖1):
(1)定義一個高層次的整體數(shù)據(jù)模型，在不同的主題和可能的應(yīng)用之間，提供全局范圍的、一致的、集成的數(shù)據(jù)視圖。無論數(shù)據(jù)集市提供何種功能，都是數(shù)據(jù)倉庫的組件，要保證數(shù)據(jù)的組織、格式和架構(gòu)在整個數(shù)據(jù)倉庫內(nèi)保持一致。表的設(shè)計(jì)、更新機(jī)制或維度的層次結(jié)構(gòu)如果不一致，可能會使數(shù)據(jù)無法在整個數(shù)據(jù)倉庫內(nèi)重新使用，并可能導(dǎo)致由相同的數(shù)據(jù)生成不一致的報(bào)表。
(2)基于上述相同的整體數(shù)據(jù)模型，并行地實(shí)現(xiàn)獨(dú)立的院、系、部門數(shù)據(jù)集市和校級部門數(shù)據(jù)集市。
(3)構(gòu)造分布式數(shù)據(jù)集市，通過網(wǎng)絡(luò)中心服務(wù)器集成不同的數(shù)據(jù)集市。
(4)集成為一個多層數(shù)據(jù)倉庫，這里，多層數(shù)據(jù)倉庫是所有倉庫數(shù)據(jù)的唯一管理者，數(shù)據(jù)則分布在一些依賴的各院、系、部門數(shù)據(jù)集市中。
(5)建立C/S模式通過網(wǎng)絡(luò)中心服務(wù)器為廣大的教學(xué)管理人員、教師、學(xué)生提供服務(wù)。開發(fā)OLAP分析和數(shù)據(jù)挖掘等高級的應(yīng)用，為高校教學(xué)管理提供決策支持。
3數(shù)據(jù)集市實(shí)例設(shè)計(jì)
本文以西華師范大學(xué)計(jì)算機(jī)學(xué)院為研究對象，利用SQL Server 2000及Analysis Services構(gòu)造了一個面向院、系、部門的數(shù)據(jù)集市。
3.1數(shù)據(jù)集市模型的設(shè)計(jì)
在決策分析時，需要從多個方面來分析一個主題，這就要求數(shù)據(jù)集市以多維數(shù)據(jù)集的方式來組織數(shù)據(jù)，以簡化OLAP分析，提高查詢性能。本文采用了雪花模型一將星型模型的維表進(jìn)行分解，分解成多個具有層次關(guān)系的維表，建立多維數(shù)據(jù)集。分解維表的過程也就是對維表進(jìn)一步標(biāo)準(zhǔn)化的過程。雪花模型是標(biāo)準(zhǔn)化的維表，粒度較低，增加了應(yīng)用程序的靈活性，易于實(shí)現(xiàn)動態(tài)SQL生成，便于以后進(jìn)行數(shù)據(jù)挖掘等高級應(yīng)用(圖2)。
3.2建立數(shù)據(jù)準(zhǔn)備區(qū)
數(shù)據(jù)準(zhǔn)備區(qū)是數(shù)據(jù)中間存儲區(qū)，在這里從數(shù)據(jù)源中析取數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)換為常用格式，檢查一致性和引用完整性，并裝人數(shù)據(jù)集市數(shù)據(jù)庫。使用獨(dú)立于數(shù)據(jù)源的數(shù)據(jù)準(zhǔn)備區(qū)將原始數(shù)據(jù)同數(shù)據(jù)集市數(shù)據(jù)隔離開，可以提高數(shù)據(jù)集市的效率，保護(hù)數(shù)據(jù)集市的完整性，并且不影響數(shù)據(jù)集市執(zhí)行支持客戶端訪問等主要功能。本文為數(shù)據(jù)準(zhǔn)備區(qū)創(chuàng)建單獨(dú)的數(shù)據(jù)庫，包含創(chuàng)建數(shù)據(jù)表、視圖、索引，還包含從源數(shù)據(jù)系統(tǒng)中析取數(shù)據(jù)的進(jìn)程，如數(shù)據(jù)轉(zhuǎn)換服務(wù)(DTS)包，以及關(guān)系數(shù)據(jù)庫中常用的其它元素。
3.3清理和轉(zhuǎn)換數(shù)據(jù)
對于構(gòu)建數(shù)據(jù)集市或OLAP分析、數(shù)據(jù)挖掘等高級應(yīng)用，都需要數(shù)據(jù)的正確性、一致性、完整性。而現(xiàn)有數(shù)據(jù)存在很多的問題，如:濫用縮寫詞、慣用語、數(shù)據(jù)輸入錯誤、重復(fù)記錄、丟失值等等。所以數(shù)據(jù)必須進(jìn)行清理及格式化，并轉(zhuǎn)換為數(shù)據(jù)集市架構(gòu)。本文把數(shù)據(jù)駐留在數(shù)據(jù)準(zhǔn)備區(qū)完成清理和轉(zhuǎn)換，并且驗(yàn)證數(shù)據(jù)的一致性，將數(shù)據(jù)轉(zhuǎn)換成常用格式以及合并代理鍵。在實(shí)際轉(zhuǎn)換中很多的數(shù)據(jù)需要執(zhí)行手工操作協(xié)調(diào)數(shù)據(jù)的不一致或解決二義性文本字段輸人項(xiàng)。每次需要手工操作時，要試著確定一種方法來消除在以后的數(shù)據(jù)轉(zhuǎn)換操作中的手工步驟。這樣能夠修改源數(shù)據(jù)系統(tǒng)以消除起因，或者能建立自動化進(jìn)程將未解決的數(shù)據(jù)留待以后手工異常處理，從而，大批的數(shù)據(jù)就可以裝人數(shù)據(jù)集市而不會因手工干預(yù)而耽擱。典型的數(shù)據(jù)轉(zhuǎn)換如:將多個名稱字段組合成一個字段;將日期字段劃分成單獨(dú)的年、月、日字段;將數(shù)據(jù)從一個表示法映射到另一個，如從TRUE到1和F人LSE到0;創(chuàng)建并應(yīng)用維度表記錄的代理鍵。SQL Server 2000中提供Transact一 SQL查詢、DTS包、ActiveX腳本等工具可以有效地協(xié)助轉(zhuǎn)換數(shù)據(jù)。
3.4 OLAP(聯(lián)機(jī)分析處理)
OLAP是實(shí)現(xiàn)對數(shù)據(jù)高效率訪問分析的一種技術(shù)。它有很多優(yōu)點(diǎn)，如:直觀的多維數(shù)據(jù)模型使用戶很容易就能選擇、瀏覽和研究數(shù)據(jù);分析查詢?yōu)檠芯繌?fù)雜的業(yè)務(wù)數(shù)據(jù)關(guān)系提供了強(qiáng)大功能;對頻繁查詢的數(shù)據(jù)預(yù)先進(jìn)行計(jì)算，可以非�？斓仨憫�(yīng)特殊查詢。數(shù)據(jù)集市基于多維數(shù)據(jù)模型，該模型將數(shù)據(jù)看作數(shù)據(jù)立方體形式，進(jìn)行OLAP分析。數(shù)據(jù)立方體由維和事實(shí)定義，允許以多維的形式對數(shù)據(jù)建模和觀察。但是數(shù)據(jù)立方體由于可視化技術(shù)的限制，大多在理論上研究，很少有軟件能較好的實(shí)現(xiàn)。在Analysis Services使用了多維數(shù)據(jù)集的概念，代替數(shù)據(jù)立方體，在表現(xiàn)的形式上采用了嵌套表的形式以利于編程實(shí)現(xiàn)。多維數(shù)據(jù)集仍是把數(shù)據(jù)組織成多維，每維包含由概念分層定義的多個抽象層，緯度指分析的角度，度量值指分析的對象。利用Analysis Services的多維數(shù)據(jù)集瀏覽器，我們可以很方便的實(shí)現(xiàn)上卷、下鉆、切片和切塊、旋轉(zhuǎn)等OLAP操作(圖3)。
3.5多維數(shù)據(jù)集角色定義和權(quán)限分配
角色是Analysis Service。保護(hù)多維數(shù)據(jù)集內(nèi)對象和數(shù)據(jù)安全的主要方法，它可以在多維數(shù)據(jù)集的不同粒度級別上定義安全性�；谛枰�，管理員可以在維度成員級別或數(shù)據(jù)單元級別上保護(hù)數(shù)據(jù)的安全，利用多維數(shù)據(jù)集角色定義哪些用戶或用戶組可以訪問和查詢多維數(shù)據(jù)集內(nèi)的數(shù)據(jù)，如限制學(xué)生只能查閱自己的成績，不能查閱其他同學(xué)的成績。
3.6元數(shù)據(jù)的管理
元數(shù)據(jù)是關(guān)于數(shù)據(jù)屬性和數(shù)據(jù)結(jié)構(gòu)的信息，也指用以界定對象(如多維數(shù)據(jù)集或維度)設(shè)計(jì)的信息。有了元數(shù)據(jù)，用戶就可以很快找到所需要數(shù)據(jù)或確認(rèn)這些數(shù)據(jù)是否在數(shù)據(jù)集市中，從而更有效的利用數(shù)據(jù)集市。Analysis Services可以自動生成元數(shù)據(jù)，并通過SQL Server2000 Meta Data Services對其進(jìn)行管理。
3.7在web上建立OLAP數(shù)據(jù)透視
向用戶提供數(shù)據(jù)訪問能力的Web應(yīng)用程序，客戶端可以使用Web瀏覽器，而不必安裝、配置和維護(hù)特殊的應(yīng)用程序。我們通過FrontPage組件建立直接在web上的應(yīng)用�！安迦�/組件/office數(shù)據(jù)透視表”，通過Microsoft OLE DB Provider for OLAP Services 8 .0可以創(chuàng)建對應(yīng)于任何ODBC兼容數(shù)據(jù)源的。LAP數(shù)據(jù)透視表視圖，通過“MS FrontPage:業(yè)務(wù)分析模式”結(jié)合“數(shù)據(jù)透視表屬性工具箱”建立分析模式，用戶可以在Web瀏覽器上，調(diào)整字段列表、數(shù)據(jù)屬性、顯示格式，以便以最合適分析角度的方式進(jìn)行分析[’]。
3.8數(shù)據(jù)的更新
一些數(shù)據(jù)會不定時的更新，如經(jīng)費(fèi)開支，但是這些日常性的變化不需要存人數(shù)據(jù)集市，我們可以把數(shù)據(jù)更新的部分存人數(shù)據(jù)準(zhǔn)備區(qū)。對于新生人校、學(xué)生畢業(yè)、的、教師的晉級等，一般每學(xué)期末才會，所以，我們的數(shù)據(jù)集市只需要在每學(xué)期末更新和整理一次。
4結(jié)論與展望
本文利用SQL Server 2000及Analysis Service建立了面向?qū)W院級的數(shù)據(jù)集市。通過運(yùn)行，系統(tǒng)較好的解決了學(xué)院管理中的許多問題，充分顯示出數(shù)據(jù)倉庫管理的靈活、便捷和穩(wěn)定等特點(diǎn)。這種結(jié)合高校特點(diǎn)，通過數(shù)據(jù)集市集成為數(shù)據(jù)倉庫的方法，最終可以發(fā)展成為高校管理決策支持的有力工具。
【淺談數(shù)據(jù)集市技術(shù)在高校信息管理中的應(yīng)用】相關(guān)文章：
淺談現(xiàn)代教育技術(shù)在醫(yī)學(xué)教育中的應(yīng)用07-24
淺談黃自藝術(shù)歌曲在高校聲樂教學(xué)中的應(yīng)用價值論文04-29
計(jì)算機(jī)應(yīng)用技術(shù)在信息管理中的應(yīng)用研究論文（精選6篇）09-20
淺談現(xiàn)代教育技術(shù)應(yīng)用的現(xiàn)狀與發(fā)展04-26
淺談現(xiàn)代教育技術(shù)的應(yīng)用論文（精選11篇）05-23
淺談全面質(zhì)量管理在企業(yè)中的應(yīng)用論文04-20
網(wǎng)絡(luò)經(jīng)濟(jì)數(shù)據(jù)挖掘在工商管理中的應(yīng)用論文07-29
淺談MOF材料的應(yīng)用04-21