淺談數(shù)據(jù)整合技術(shù)在水利設(shè)計(jì)中的重要性
論文關(guān)鍵詞集成信息系統(tǒng) 數(shù)據(jù)整合 信息孤島論文摘 要數(shù)據(jù)整合已經(jīng)成為未來(lái)水利設(shè)計(jì)單位進(jìn)一步發(fā)展的必經(jīng)之路,水利設(shè)計(jì)單位需要進(jìn)一步的發(fā)展和提高,就需要進(jìn)行數(shù)據(jù)整合。文章采用數(shù)據(jù)整合技術(shù),充分整合綜合辦公管理、計(jì)劃經(jīng)營(yíng)管理、項(xiàng)目設(shè)計(jì)流程管理、圖檔管理數(shù)據(jù)資源,并建設(shè)成統(tǒng)一的數(shù)據(jù)集成平臺(tái)。利用這一數(shù)據(jù)集成平臺(tái)將四大數(shù)據(jù)資源,經(jīng)過(guò)抽取、規(guī)則轉(zhuǎn)換、清洗、加載,形成整合資源庫(kù),為經(jīng)營(yíng)和戰(zhàn)略決策提供數(shù)據(jù)支持。
決策分析需要的數(shù)據(jù)通常都是統(tǒng)計(jì)數(shù)據(jù),但在現(xiàn)有信息系統(tǒng)下進(jìn)行會(huì)比較復(fù)雜。原因有:①做出一個(gè)決策分析往往需要查詢(xún)多個(gè)基于各種異構(gòu)數(shù)據(jù)源的信息系統(tǒng)和外部系統(tǒng),并進(jìn)行大量數(shù)據(jù)分析,工作量大,數(shù)據(jù)利用率不高,且容易出現(xiàn)人為差錯(cuò)。②現(xiàn)有信息系統(tǒng)平臺(tái)及開(kāi)發(fā)工具互不兼容,直接提取這些數(shù)據(jù)比較麻煩。③各個(gè)信息系統(tǒng)沒(méi)有統(tǒng)一的數(shù)據(jù)接口,也沒(méi)有通用的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范,各個(gè)數(shù)據(jù)庫(kù)無(wú)法直接集成。④統(tǒng)計(jì)分析需要大量的歷史數(shù)據(jù),但是歷史數(shù)據(jù)并不完整。
因此,為了適應(yīng)決策信息系統(tǒng)建設(shè)的需要,我們采用數(shù)據(jù)整合技術(shù),充分整合綜合辦公管理、計(jì)劃經(jīng)營(yíng)管理、項(xiàng)目設(shè)計(jì)流程管理、圖檔管理數(shù)據(jù)資源,并建設(shè)成統(tǒng)一的數(shù)據(jù)集成平臺(tái)。
1數(shù)據(jù)資源分析
數(shù)據(jù)整合資源庫(kù)的數(shù)據(jù)都是一些統(tǒng)計(jì)和分析數(shù)據(jù),如項(xiàng)目進(jìn)度跟蹤管理統(tǒng)計(jì)、產(chǎn)值管理統(tǒng)計(jì)等,它們來(lái)源于生產(chǎn)數(shù)據(jù),所以在數(shù)據(jù)整合之前,需對(duì)現(xiàn)有生產(chǎn)數(shù)據(jù)資源進(jìn)行歸類(lèi)。現(xiàn)階段生產(chǎn)數(shù)據(jù)資源主要分為綜合辦公管鉀數(shù)據(jù)集、計(jì)劃經(jīng)營(yíng)管理數(shù)據(jù)集、項(xiàng)目設(shè)計(jì)流程管理數(shù)據(jù)集和圖檔管理數(shù)據(jù)集等。
1)綜合辦公管理數(shù)據(jù)集是實(shí)現(xiàn)人員基礎(chǔ)信息統(tǒng)一管理的基礎(chǔ)數(shù)據(jù)集。主要包括:①個(gè)人基本信息:包括個(gè)人信息庫(kù)等。②單位基本信息:包括單位基本信息庫(kù)、單位所屬分支機(jī)構(gòu)信息庫(kù)等。③參數(shù)信息庫(kù):包括代碼庫(kù)、圖表分析生成庫(kù)等。
2)計(jì)劃經(jīng)營(yíng)管理數(shù)據(jù)集主要包括:①市場(chǎng)信息:包括顧客信息資源庫(kù)、市場(chǎng)動(dòng)態(tài)信息庫(kù)、競(jìng)爭(zhēng)對(duì)手信息庫(kù)等。②招投標(biāo)管理信息:包括招標(biāo)信息庫(kù)、投標(biāo)信息庫(kù)、專(zhuān)家信息庫(kù)等。③合同信息:包括合同信息庫(kù)、收付款項(xiàng)信息庫(kù)、產(chǎn)品交付管理庫(kù)等。④資質(zhì)管理信息:包括資質(zhì)信息庫(kù)、資質(zhì)審核庫(kù)、資質(zhì)借用管理庫(kù)等。
3)項(xiàng)目設(shè)計(jì)流程管理數(shù)據(jù)集主要包括:①項(xiàng)目信息:包括項(xiàng)目立項(xiàng)信息庫(kù)、任務(wù)下達(dá)信息庫(kù)、項(xiàng)目組人員任命庫(kù)等。②項(xiàng)目任務(wù)分解:包括項(xiàng)目任務(wù)分解資源信息庫(kù)、關(guān)鍵路徑控制等。③網(wǎng)絡(luò)虛擬辦公室:包括項(xiàng)目動(dòng)態(tài)信息庫(kù)、中間成果管理庫(kù)、動(dòng)態(tài)分析庫(kù)等。④產(chǎn)品管理信息:包括產(chǎn)品校審信息庫(kù)、成果交付信息庫(kù)等。
4)圖檔管理數(shù)據(jù)集主要包括:①歸檔管理信息:包括資料預(yù)歸檔管理庫(kù)、資料歸檔管理庫(kù)等。②整編信息:包括檔案整編信息庫(kù)等。③借閱信息:包括人員信息庫(kù)、檔案借閱信息庫(kù)等。④電子檔案信息:包括電子檔案授權(quán)庫(kù)、電子檔案借閱管理庫(kù)等。⑤銷(xiāo)檔信息:包括銷(xiāo)毀檔案信息庫(kù)、銷(xiāo)毀人員信息庫(kù)等。
2數(shù)據(jù)整合的實(shí)現(xiàn)方式
水利設(shè)計(jì)單位集成信息系統(tǒng)數(shù)據(jù)庫(kù)大多為SQLServer數(shù)據(jù)庫(kù),數(shù)據(jù)整合實(shí)現(xiàn)方式通?梢圆捎脭(shù)據(jù)庫(kù)開(kāi)發(fā)技術(shù)和ETL技術(shù)實(shí)現(xiàn),以下分別介紹這兩種實(shí)現(xiàn)方式。
1)數(shù)據(jù)庫(kù)開(kāi)發(fā)技術(shù)。利用數(shù)據(jù)庫(kù)開(kāi)發(fā)技術(shù)的數(shù)據(jù)整合主要指利用數(shù)據(jù)庫(kù)本身的功能,如觸發(fā)器、PL/SQL存儲(chǔ)過(guò)程、DBLINK等功能完成,完成對(duì)各個(gè)信息系統(tǒng)所需要數(shù)據(jù)的抽取、查詢(xún)和關(guān)聯(lián)等。
這種數(shù)據(jù)整合技術(shù)有如下優(yōu)勢(shì):①適合于同種數(shù)據(jù)庫(kù)之間的數(shù)據(jù)集成。②投資少,基本都是靠開(kāi)發(fā)人員手工編程為主,只需要一些開(kāi)發(fā)費(fèi)用。但是該數(shù)據(jù)整合實(shí)現(xiàn)技術(shù)也存在一些局限性。③擴(kuò)展性較差。由于都是開(kāi)發(fā)人員手工編程,后期的維護(hù)成本較高,特別是在決策需求發(fā)生變化時(shí),需要開(kāi)發(fā)人員修改程序源代碼。④數(shù)據(jù)整合效率問(wèn)題。由于數(shù)據(jù)庫(kù)都靠開(kāi)發(fā)商編寫(xiě),在系統(tǒng)日趨龐大的情況下,在面對(duì)復(fù)雜的數(shù)據(jù)整合問(wèn)題上,效率難以得到保證。
2)ETL技術(shù)。通過(guò)ETL技術(shù)及專(zhuān)業(yè)ETL軟件,即數(shù)據(jù)抽。‥xtract)、轉(zhuǎn)換(Transform)、裝載(Load)能將數(shù)據(jù)從原系統(tǒng)數(shù)據(jù)庫(kù)經(jīng)過(guò)抽取,進(jìn)行轉(zhuǎn)換,最后加載到目標(biāo)數(shù)據(jù)庫(kù),實(shí)現(xiàn)系統(tǒng)數(shù)據(jù)之間的整合。 該數(shù)據(jù)整合實(shí)現(xiàn)技術(shù)運(yùn)用在水利設(shè)計(jì)單位集成信息系統(tǒng)有如下優(yōu)勢(shì):①高效率。ETL軟件的數(shù)據(jù)抽取、轉(zhuǎn)換、加載的效率非常高,特別對(duì)于大數(shù)據(jù)量的抽取。并且支持對(duì)ORACLE9i增量數(shù)據(jù)抽取。②改進(jìn)數(shù)據(jù)質(zhì)量。能夠根據(jù)各種條件校驗(yàn)源數(shù)據(jù)和目標(biāo)數(shù)據(jù)質(zhì)量,對(duì)垃圾數(shù)據(jù)進(jìn)行清洗。③強(qiáng)大管理功能。能夠通過(guò)WEB管理界面對(duì)數(shù)據(jù)抽取策略執(zhí)行制定時(shí)間觸發(fā)方式,對(duì)抽取結(jié)果進(jìn)行分析等。④多平臺(tái)、多數(shù)據(jù)源支持。支持各種平臺(tái)、各種數(shù)據(jù)庫(kù)系統(tǒng)(如ORACLE、SQLServer等)以及不同版本數(shù)據(jù)庫(kù)之間的數(shù)據(jù)抽取。⑤具備多種數(shù)據(jù)轉(zhuǎn)換控件,能夠完成各種非常復(fù)雜的數(shù)據(jù)轉(zhuǎn)換工作。但是該數(shù)據(jù)整合實(shí)現(xiàn)技術(shù)也存在一些局限性:投資費(fèi)用較為昂貴,實(shí)施周期通常較長(zhǎng)。
3數(shù)據(jù)整合的實(shí)施
數(shù)據(jù)整合實(shí)施工作分為4個(gè)階段。
1)第一階段為對(duì)信息系統(tǒng)原始數(shù)據(jù)分析階段。為了更加全面理解各種數(shù)據(jù)格式的含義,獲得各種相關(guān)文檔資源,因此首先要對(duì)信息系統(tǒng)原始數(shù)據(jù)進(jìn)行分析。該階段主要包括了解需要采集的數(shù)據(jù)結(jié)構(gòu)定義和數(shù)據(jù)表之間的設(shè)計(jì)聯(lián)系。例如:我們對(duì)包括非電子數(shù)據(jù)、excel格式數(shù)據(jù)及其各種不同數(shù)據(jù)庫(kù)格式數(shù)據(jù)進(jìn)行分析。
2)第二階段為設(shè)計(jì)實(shí)施階段。為了不影響原始數(shù)據(jù)格式的改變及其調(diào)用,并保證它們的安全性,第二階段主要是定義數(shù)據(jù)整合規(guī)則及策略的設(shè)計(jì)實(shí)施階段。前者包括字段映射、合并、函數(shù)計(jì)算定義等。后者主要定義時(shí)間策略。
3)第三階段為數(shù)據(jù)校驗(yàn)階段。為了不會(huì)產(chǎn)生各種不完整甚至錯(cuò)誤信息,因此在系統(tǒng)正式運(yùn)行之前,必須建立嚴(yán)格的數(shù)據(jù)校驗(yàn)機(jī)制,以保證生產(chǎn)數(shù)據(jù)和整合平臺(tái)數(shù)據(jù)的一致性。例如:我們對(duì)導(dǎo)人的數(shù)據(jù)進(jìn)行校驗(yàn),主要標(biāo)準(zhǔn)為水利設(shè)計(jì)單位設(shè)計(jì)規(guī)范標(biāo)準(zhǔn),并對(duì)校驗(yàn)出來(lái)的問(wèn)題進(jìn)行處理,主要是人工處理確認(rèn)。
4)第四階段為系統(tǒng)上線階段。將設(shè)計(jì)好的數(shù)據(jù)整合流程正式發(fā)布,并可設(shè)定計(jì)劃定時(shí)執(zhí)行,系統(tǒng)管理人員可以通過(guò)監(jiān)控界面,進(jìn)行任務(wù)監(jiān)控和跟蹤。根據(jù)需求,管理人員還可修改計(jì)劃,合理安排數(shù)據(jù)轉(zhuǎn)換任務(wù),以在規(guī)定的時(shí)間內(nèi)完成所有的數(shù)據(jù)轉(zhuǎn)換和加載任務(wù)。
4結(jié)語(yǔ)
數(shù)據(jù)整合將改變?cè)械囊圆块T(mén)和項(xiàng)目為中心的信息孤島局面,從而能夠?qū)崿F(xiàn)整個(gè)水利設(shè)計(jì)單位的數(shù)據(jù)整合。原有的部門(mén)級(jí)、以項(xiàng)目為中心的運(yùn)作方式,將可能使得各個(gè)項(xiàng)目的使用技術(shù)不盡相同,也使得項(xiàng)目的進(jìn)度依賴(lài)于開(kāi)發(fā)人員的編碼效率,從而使得整個(gè)水利設(shè)計(jì)單位的效率低下。
進(jìn)行整個(gè)單位的數(shù)據(jù)整合之后,就能夠在水利設(shè)計(jì)單位內(nèi)部統(tǒng)一技術(shù)架構(gòu)和標(biāo)準(zhǔn),充分發(fā)揮團(tuán)隊(duì)協(xié)作的效率。通過(guò)由數(shù)據(jù)整合進(jìn)行的數(shù)據(jù)移植、數(shù)據(jù)倉(cāng)庫(kù)等,將能夠使得水利設(shè)計(jì)單位的數(shù)據(jù)整合成本大大下降。
參考文獻(xiàn)
[1]蔣東興,劉啟新.數(shù)字校園信息整合之我見(jiàn)[M].北京:清華大學(xué)計(jì)算機(jī)與信息管理中心,2003.
[2]周志達(dá),徐先傳.數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)抽取、轉(zhuǎn)換及加載工具研究[J].北京理工大學(xué)學(xué)報(bào),2003,23(6):720-723.
【淺談數(shù)據(jù)整合技術(shù)在水利設(shè)計(jì)中的重要性】相關(guān)文章:
談數(shù)據(jù)整合技術(shù)在水利設(shè)計(jì)中的重要性11-17
淺談水利工程中巖石基礎(chǔ)灌漿技術(shù)03-27
淺談水利工程中灌漿施工技術(shù)探索12-04
淺談信息技術(shù)與課程整合在語(yǔ)文教學(xué)中的嘗試12-12
淺談基礎(chǔ)灌漿施工技術(shù)在水利工程中的應(yīng)用12-11
淺談水利施工中鉆孔灌注樁技術(shù)的應(yīng)用論文03-15
淺談電子技術(shù)中單元電路的設(shè)計(jì)12-05
淺談云數(shù)據(jù)中心網(wǎng)絡(luò)虛擬技術(shù)在企業(yè)中的應(yīng)用論文02-21
淺談新技術(shù)在水利工程施工中的具體應(yīng)用論文03-04
- 相關(guān)推薦