- 相關(guān)推薦
ERP系統(tǒng)中數(shù)據(jù)倉庫的應(yīng)用
摘要:隨著信息的日益豐富,知識爆炸成為必然,從數(shù)據(jù)中發(fā)現(xiàn)知識(KDD)和數(shù)據(jù)挖掘已成為重要的技術(shù)。在廣泛實(shí)施了ERP后,如何從海量的業(yè)務(wù)信息中找到有價(jià)值的知識已成為企業(yè)經(jīng)營成敗的關(guān)鍵,在這種背景下,將數(shù)據(jù)遷移到數(shù)據(jù)倉庫變得非常重要。數(shù)據(jù)倉庫的建設(shè)是一個(gè)復(fù)雜、長期的過程,特別是針對企業(yè)ERP系統(tǒng)的建設(shè)。我們通過一個(gè)汽修行業(yè)進(jìn)銷存系統(tǒng)數(shù)據(jù)倉庫的構(gòu)建,系統(tǒng)闡述了如何在ERP環(huán)境中構(gòu)建數(shù)據(jù)倉庫,并對系統(tǒng)的物理實(shí)施進(jìn)行了論述。關(guān)鍵詞:信息;ERP;數(shù)據(jù)倉庫;OLTP;OLAP;數(shù)據(jù)挖掘
當(dāng)今社會是一個(gè)信息爆炸的時(shí)代,信息豐富而知識貧乏的現(xiàn)象非常普遍。“啤酒搭著尿布賣”的故事曾經(jīng)觸動了多少人的神經(jīng)。信息作為現(xiàn)代企業(yè)的寶貴資源,占據(jù)著越來越重要的地位,已經(jīng)成為現(xiàn)代企業(yè)科學(xué)管理的基礎(chǔ),正確決策的前提,有效調(diào)控的手段。
目前,面對激烈的市場競爭,許多大型企業(yè)紛紛實(shí)施“以客戶為中心,以服務(wù)求發(fā)展”的經(jīng)營策略。 如何優(yōu)化客戶關(guān)系,增強(qiáng)企業(yè)的競爭優(yōu)勢已經(jīng)成為現(xiàn)代企業(yè)關(guān)注的焦點(diǎn),F(xiàn)有的應(yīng)用系統(tǒng)往往以“產(chǎn)品”為中心,以“單據(jù)(票證)”處理為基礎(chǔ),是面向聯(lián)機(jī)事務(wù)處理(Online Transaction Processing,簡稱OLTP)的系統(tǒng),而以客戶為中心的經(jīng)營管理模式要求對現(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行有效的集成并加以重組,建立面向聯(lián)機(jī)分析處理(Online Analysis Processing,簡稱OLAP)的系統(tǒng)。通過分析客戶的行為,掌握不同類型客戶的特征,進(jìn)而為客戶提供更加優(yōu)質(zhì)的服務(wù),尤其是個(gè)性化的服務(wù),同時(shí)全面掌握并理解、分析企業(yè)業(yè)務(wù)的發(fā)生情況,充分發(fā)揮企業(yè)現(xiàn)已積累的數(shù)據(jù),為各級管理人員提供科學(xué)化管理和決策的有力依據(jù),以提高企業(yè)的經(jīng)營業(yè)績,保證利潤的持續(xù)增長。
同時(shí),隨著企業(yè)信息化程度的不斷提高,各類應(yīng)用系統(tǒng)同時(shí)并存并支撐著企業(yè)的業(yè)務(wù)應(yīng)用。越來越多企業(yè)的信息化主管在開發(fā)企業(yè)應(yīng)用時(shí)已經(jīng)考慮到數(shù)據(jù)集成和將來對數(shù)據(jù)的整體有效利用,因此,在實(shí)施了ERP解決方案之后,很多企業(yè)選擇實(shí)施數(shù)據(jù)倉庫產(chǎn)品來避免信息孤島,實(shí)現(xiàn)應(yīng)用的內(nèi)部聯(lián)系和信息的共享。
什么是數(shù)據(jù)倉庫呢?一般認(rèn)為,數(shù)據(jù)倉庫(Data Warehouse)是一個(gè)面向主題的(Subject Oriented)、集成的(Integrated)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化(Time Variant)的數(shù)據(jù)集合,用于支持管理決策(Decision Making Support)。
面向主題:操作型數(shù)據(jù)庫的數(shù)據(jù)組織面向事務(wù)處理任務(wù),各個(gè)業(yè)務(wù)系統(tǒng)之間各自分離,而數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織的。
集成的:數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的,必須消除源數(shù)據(jù)中的不一致性,以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。
相對穩(wěn)定的:數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用,所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢,一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫以后,一般情況下將被長期保留,也就是數(shù)據(jù)倉庫中一般有大量的查詢操作,但修改和刪除操作很少,通常只需要定期的加載、刷新。
反映歷史變化:數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息,系統(tǒng)記錄了企業(yè)從過去某一時(shí)點(diǎn)(如開始應(yīng)用數(shù)據(jù)倉庫的時(shí)點(diǎn))到目前的各個(gè)階段的信息,通過這些信息,可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。
一個(gè)典型的企業(yè)數(shù)據(jù)倉庫系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲與管理、OLAP服務(wù)器以及前端工具與應(yīng)用四個(gè)部分。
數(shù)據(jù)源:是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ),是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。
數(shù)據(jù)的存儲與管理:是整個(gè)數(shù)據(jù)倉庫系統(tǒng)的核心。在現(xiàn)有各業(yè)務(wù)系統(tǒng)的基礎(chǔ)上,對數(shù)據(jù)進(jìn)行抽取、清理,并有效集成,按照主題進(jìn)行重新組織,最終確定數(shù)據(jù)倉庫的物理存儲結(jié)構(gòu),同時(shí)組織存儲數(shù)據(jù)倉庫元數(shù)據(jù)(具體包括數(shù)據(jù)倉庫的數(shù)據(jù)字典、記錄系統(tǒng)定義、數(shù)據(jù)轉(zhuǎn)換規(guī)則、數(shù)據(jù)加載頻率以及業(yè)務(wù)規(guī)則等信息)。
OLAP服務(wù)器:對分析需要的數(shù)據(jù)按照多維數(shù)據(jù)模型進(jìn)行再次重組,以支持用戶多角度、多層次的分析,發(fā)現(xiàn)數(shù)據(jù)趨勢。其具體實(shí)現(xiàn)可以分為:ROLAP、MOLAP和HOLAP。
前端工具與應(yīng)用:前端工具主要包括各種數(shù)據(jù)分析工具、報(bào)表工具、查詢工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市開發(fā)的應(yīng)用。其中數(shù)據(jù)分析工具主要針對OLAP服務(wù)器,報(bào)表工具、數(shù)據(jù)挖掘工具既針對數(shù)據(jù)倉庫,同時(shí)也針對OLAP服務(wù)器。
在傳統(tǒng)的ERP系統(tǒng)中,一般的核心應(yīng)用都是進(jìn)銷存管理和賬務(wù)管理,數(shù)據(jù)庫中的數(shù)據(jù)也是緊緊圍繞產(chǎn)品信息、票據(jù)和賬目明細(xì)進(jìn)行的。這樣的數(shù)據(jù)層可以很好地實(shí)現(xiàn)OLTP,但如果要為企業(yè)高層提供決策數(shù)據(jù)的話,就有必要對這樣原始的、松散的、孤立的數(shù)據(jù)進(jìn)行抽取、清洗、加上時(shí)間標(biāo)記并進(jìn)行合理的分類,以使之能夠進(jìn)入數(shù)據(jù)倉庫并支持OLAP。
下面通過一個(gè)小型汽修行業(yè)進(jìn)銷存系統(tǒng)(以下簡稱A系統(tǒng))數(shù)據(jù)倉庫的建立,來說明ERP系統(tǒng)數(shù)據(jù)倉庫建立的步驟及應(yīng)注意的一些問題。
A系統(tǒng)原有的數(shù)據(jù)層是典型的數(shù)據(jù)庫系統(tǒng),核心表為產(chǎn)品信息表、客戶信息表、供應(yīng)商信息表、庫存表、銷售表、客戶明細(xì)表和供應(yīng)商明細(xì)表等。這些表格在運(yùn)行中很好地解決了OLTP,同時(shí)可對企業(yè)高層提供基本的一些OLAP,如庫存查詢、銷售查詢等,但這些功能相對高層決策的需求是遠(yuǎn)遠(yuǎn)不夠的,因此有必要對原系統(tǒng)的數(shù)據(jù)庫進(jìn)行改造,建立合理有效的數(shù)據(jù)集市或數(shù)據(jù)倉庫,以適應(yīng)企業(yè)遠(yuǎn)期的戰(zhàn)略目標(biāo)。
數(shù)據(jù)倉庫的建立是一個(gè)復(fù)雜的過程,首先要進(jìn)行規(guī)劃和分析,我們對原系統(tǒng)的數(shù)據(jù)進(jìn)行分析,將原來孤立分散的數(shù)據(jù)元素進(jìn)行抽取和清洗分類,把數(shù)據(jù)劃分成了以下幾個(gè)類:客戶類(包含原有系統(tǒng)中的客戶信息、客戶賬目明細(xì)等相關(guān)客戶信息)、供應(yīng)商類(包含相關(guān)供應(yīng)商所有信息)、賬目類(包含進(jìn)銷存的帳目往來及明細(xì)數(shù)據(jù))、票據(jù)類(包含相關(guān)帳目票據(jù))等。數(shù)據(jù)類的劃分將原來松散孤立的數(shù)據(jù)根據(jù)使用特征有機(jī)地結(jié)合到了一起,可以有效地支持OLAP,同時(shí)為以后系統(tǒng)的擴(kuò)展及升級也打下了良好的基礎(chǔ)。不致于因一發(fā)而動全身。
將原有的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行清洗分類后,下一步即開始數(shù)據(jù)倉庫物理結(jié)構(gòu)及存儲的實(shí)施。目前,IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等有實(shí)力的公司相繼(通過收購或研發(fā)的途徑)推出了自己的數(shù)據(jù)倉庫解決方案,BO和Brio等專業(yè)軟件公司也在前端在線分析處理工具市場上占有一席之地。在A項(xiàng)目數(shù)據(jù)倉庫解決方案的選擇上,我們選擇了Microsoft的SQL Server 2005作為數(shù)據(jù)倉庫實(shí)現(xiàn)工具。做為微軟新一代的數(shù)據(jù)庫產(chǎn)品,SQL Server 2005提供了很多新的功能,性能更加強(qiáng)大,同時(shí),A系統(tǒng)原來的數(shù)據(jù)層是采用SQL Server 2000,因此采用SQL Server 2005可以很好地實(shí)現(xiàn)數(shù)據(jù)的提取和轉(zhuǎn)換。同時(shí),由于都是微軟的產(chǎn)品,我們今后擴(kuò)充A系統(tǒng)時(shí),前臺的查詢和報(bào)表工具就可以采用dot net平臺實(shí)現(xiàn),無論采用C#還是VB.NET語言都可以實(shí)現(xiàn)強(qiáng)大的OLAP分析功能。
最終,由于經(jīng)過了詳細(xì)的設(shè)計(jì)和建模,A系統(tǒng)數(shù)據(jù)倉庫的實(shí)施取得了良好的效果,系統(tǒng)的轉(zhuǎn)換較為成功,新系統(tǒng)在數(shù)據(jù)倉庫的支持下為高層決策提供了極好的支持。同時(shí),由于采用了數(shù)據(jù)倉庫,A系統(tǒng)的功能和擴(kuò)展性也有了很大提高。為以后進(jìn)一步進(jìn)行操作數(shù)據(jù)存儲(ODS)和數(shù)據(jù)挖掘(DATA MINEING)打下了堅(jiān)實(shí)的基礎(chǔ)。
參考文獻(xiàn):
[1]張友生,徐峰 《系統(tǒng)分析師技術(shù)指南》 清華大學(xué)出版社 2004
[2]http://www.enet.com.cn/article/2006/1212/A20061212332464.shtml 《九大數(shù)據(jù)倉庫解決方案的性能和特點(diǎn)比較》
[3]http://www.enet.com.cn/article/2006/1212/A20061212332464_2.shtml《九大數(shù)據(jù)倉庫解決方案的性能和特點(diǎn)比較》
[4]朱德利《SQLServer2005數(shù)據(jù)挖掘與商業(yè)智能完全解決方案》 電子工業(yè)出版社 2007
[5]飛思科技產(chǎn)品研發(fā)中心編《Oracle 9i數(shù)據(jù)倉庫構(gòu)建技術(shù)》電子工業(yè)出版社 2003。
【ERP系統(tǒng)中數(shù)據(jù)倉庫的應(yīng)用】相關(guān)文章:
通化鋼鐵團(tuán)體ERP系統(tǒng)的應(yīng)用03-21
芻議財(cái)務(wù)治理系統(tǒng)在ERP中的應(yīng)用03-22
通化鋼鐵集團(tuán)ERP系統(tǒng)的應(yīng)用12-07
SaaS模式在中小企業(yè)ERP系統(tǒng)中的應(yīng)用研究02-26
數(shù)據(jù)倉庫技術(shù)在CRM中的應(yīng)用研究03-22
AVC系統(tǒng)在電網(wǎng)EMS中的應(yīng)用03-20