- 相關(guān)推薦
集群技術(shù)科研應(yīng)用管理論文
【摘要】集群技術(shù)是一種較新的技術(shù),通過集群技術(shù),可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對(duì)較高的收益。本文力圖對(duì)集群技術(shù)做一個(gè)簡(jiǎn)單的介紹。本文首先給出了集群的定義,闡述了采用集群技術(shù)的意義,對(duì)幾種常見的集群類型進(jìn)行了介紹,并在此基礎(chǔ)上給出了一個(gè)集群在科研中的實(shí)例。
【關(guān)鍵字】集群集群技術(shù)負(fù)載均衡HALBCLUSTER
一、集群的定義
廣義上說,相互獨(dú)立的一些系統(tǒng)構(gòu)成了一個(gè)組就是集群。一個(gè)客戶與集群相互作用時(shí),集群的行為像是一個(gè)獨(dú)立的系統(tǒng)一樣。
從狹義上講,集群是一些相互獨(dú)立的計(jì)算機(jī),這些計(jì)算機(jī)作為一個(gè)整體對(duì)外提供服務(wù)。對(duì)于客戶來說,這些計(jì)算機(jī)的行為就好像一個(gè)計(jì)算機(jī)一樣,但是其處理能力、可靠性、IO能力都得到了大幅的提升。
二、采用集群的目的
采用集群技術(shù)的目的可以概括為以下幾個(gè)方面:
提高性能.一些計(jì)算密集型應(yīng)用,如:天氣預(yù)報(bào),核試驗(yàn)?zāi)M等,需要計(jì)算機(jī)要有很強(qiáng)的運(yùn)算處理能力,現(xiàn)有的技術(shù),即使普通的大型機(jī)其計(jì)算也很難勝任,這時(shí),一般都使用計(jì)算機(jī)集群技術(shù),集中幾十臺(tái)甚至上百臺(tái)計(jì)算機(jī)的運(yùn)算能力來滿足要求。提高處理性能一直是集群技術(shù)的一個(gè)重要目標(biāo)之一。
降低成本.通常一套象樣的群集配置,其軟硬件開銷要超過$100,000。但與價(jià)值上百萬(wàn)美元的專用超級(jí)計(jì)算機(jī)相比已經(jīng)相當(dāng)便宜。在達(dá)到同樣性能的條件下,采用計(jì)算機(jī)集群比采用同等運(yùn)算能力的大型計(jì)算機(jī)具有更高的性價(jià)比。
提高規(guī)模擴(kuò)展性(Scalabilitry).,計(jì)劃擴(kuò)展系統(tǒng)能力的用戶必須購(gòu)買昂貴的最新的服務(wù)器,才能獲得額外所需的CPU,驅(qū)動(dòng)器和內(nèi)存。如果該服務(wù)系統(tǒng)采用集群技術(shù),則只需要將新的服務(wù)器加入集群中即可,對(duì)于客戶來看,服務(wù)無(wú)論從連續(xù)性還是性能上都幾乎沒有變化,好像系統(tǒng)在不知不覺中完成了升級(jí)。
增強(qiáng)可靠性.據(jù)統(tǒng)計(jì)每年由于系統(tǒng)停運(yùn),全美國(guó)損失40億美元。在零售業(yè),平均每次停運(yùn)損失140000美元,保安業(yè)每次停運(yùn)平均損失450000美元,集群技術(shù)使系統(tǒng)在故障發(fā)生時(shí)仍可以繼續(xù)工作,將系統(tǒng)停運(yùn)時(shí)間減到最小。集群系統(tǒng)在提高了系統(tǒng)的可靠性的同時(shí),也大大減小了故障損失。
三、集群類型
最常見的三種群集類型包括高性能科學(xué)群集、負(fù)載均衡群集和高可用性群集。
1、科學(xué)群集
科學(xué)集群是并行計(jì)算的基礎(chǔ)。通常,科學(xué)群集涉及為群集開發(fā)的并行應(yīng)用程序,以解決復(fù)雜的科學(xué)?茖W(xué)集群對(duì)外就好像一個(gè)超級(jí)計(jì)算機(jī),這種超級(jí)計(jì)算機(jī)內(nèi)部由十至上萬(wàn)個(gè)獨(dú)立處理器組成。但它卻使用商業(yè)系統(tǒng),并且在公共消息傳遞層上進(jìn)行通信以運(yùn)行并行應(yīng)用程序。
我們常常聽說又有一種便宜的Linux超級(jí)計(jì)算機(jī)問世了。這種超級(jí)計(jì)算機(jī)實(shí)際上是一個(gè)計(jì)算機(jī)群集,其處理能力與真的超級(jí)計(jì)算機(jī)相仿,但是硬件以及運(yùn)行維護(hù)費(fèi)用要比真正的超級(jí)計(jì)算機(jī)低很多,具有極高的性價(jià)比。
并行群集系統(tǒng)之所以可以達(dá)到如此高的帶寬和低延遲,是因?yàn)樗鼈兺ǔ@@過使用協(xié)議,如TCP/IP。雖然網(wǎng)際協(xié)議對(duì)于廣域網(wǎng)很重要,但它包含了太多的開銷,而這些開銷在節(jié)點(diǎn)相互已知的封閉網(wǎng)絡(luò)群集中是不必要的。節(jié)點(diǎn)之間可以使用直接內(nèi)存訪問(DMA)來進(jìn)行通訊,它類似于圖形卡和其它外圍設(shè)備在一臺(tái)機(jī)器中的工作方式。因此橫跨群集,可以通過任何節(jié)點(diǎn)上的任何處理器直接訪問分布式共享內(nèi)存。
同樣也可以使用低開銷的消息傳遞系統(tǒng),在節(jié)點(diǎn)之間進(jìn)行通信。消息傳遞接口(MPI)是并行群集系統(tǒng)間消息傳遞層的最常見實(shí)現(xiàn)。MPI存在幾種衍生版本,但在所有情況下,它為開發(fā)者訪問并行應(yīng)用程序提供了一個(gè)公共API,這樣開發(fā)者就不必手工解決如何在群集的節(jié)點(diǎn)之間分發(fā)代碼段。
2、負(fù)載均衡群集
負(fù)載均衡群集為需求提供了更實(shí)用的系統(tǒng)。如名稱所暗示的,負(fù)載均衡群集使負(fù)載可以在機(jī)群集中盡可能平均地分?jǐn)偺幚。?fù)載通常包括程序處理負(fù)載和流量負(fù)載。這樣的系統(tǒng)非常適合向使用同一組應(yīng)用程序的大量用戶提供服務(wù)。每個(gè)節(jié)點(diǎn)都可以承擔(dān)一定的處理負(fù)載,并且可以實(shí)現(xiàn)處理負(fù)載在節(jié)點(diǎn)之間的動(dòng)態(tài)分配,以實(shí)現(xiàn)負(fù)載均衡。對(duì)于網(wǎng)絡(luò)流量負(fù)載,當(dāng)網(wǎng)絡(luò)服務(wù)程序接受了太多入網(wǎng)流量,以致無(wú)法迅速處理,這時(shí),網(wǎng)絡(luò)流量就會(huì)發(fā)送給在其它節(jié)點(diǎn)上運(yùn)行的網(wǎng)絡(luò)服務(wù)程序。同時(shí),還可以根據(jù)每個(gè)節(jié)點(diǎn)上不同的可用資源或網(wǎng)絡(luò)的特殊環(huán)境來進(jìn)行優(yōu)化。
與計(jì)算集群一樣,負(fù)載均衡群集也在多節(jié)點(diǎn)之間分發(fā)計(jì)算處理負(fù)載。他們之間的最大區(qū)別在于缺少跨節(jié)點(diǎn)運(yùn)行的單并行程序。大多數(shù)情況下,負(fù)載均衡群集中的每個(gè)節(jié)點(diǎn)都是運(yùn)行單獨(dú)軟件的獨(dú)立系統(tǒng)。但是,不管是在節(jié)點(diǎn)之間進(jìn)行直接通信,還是通過中央負(fù)載均衡服務(wù)器來控制每個(gè)節(jié)點(diǎn)的負(fù)載,在節(jié)點(diǎn)之間都有一種公共關(guān)系。通常,使用特定的算法來分發(fā)該負(fù)載。
網(wǎng)絡(luò)流量負(fù)載均衡是一個(gè)過程,它檢查到某個(gè)群集的入網(wǎng)流量,然后將流量分發(fā)到各個(gè)節(jié)點(diǎn)以進(jìn)行適當(dāng)處理。它最適合大型網(wǎng)絡(luò)應(yīng)用程序,如Web或FTP服務(wù)器。負(fù)載均衡網(wǎng)絡(luò)應(yīng)用服務(wù)要求群集軟件檢查每個(gè)節(jié)點(diǎn)的當(dāng)前負(fù)載,并確定哪些節(jié)點(diǎn)可以接受新的作業(yè)。這最適合運(yùn)行如數(shù)據(jù)等串行和批處理作業(yè)。那些系統(tǒng)還可以配置成關(guān)注某特定節(jié)點(diǎn)的硬件或操作系統(tǒng)功能,這樣,群集中的節(jié)點(diǎn)就沒有必要是一致的。
3、高可用性群集
可用性(availability)當(dāng)集群中的一個(gè)系統(tǒng)發(fā)生故障時(shí),集群軟件迅速做出反映,將該系統(tǒng)的任務(wù)分配到集群中其它正在工作的系統(tǒng)上執(zhí)行。
考慮到計(jì)算機(jī)硬件和軟件的易錯(cuò)性,高可用性群集的的目的主要是為了使群集的整體服務(wù)盡可能可用。如果高可用性群集中的主節(jié)點(diǎn)發(fā)生了故障,那么這段時(shí)間內(nèi)將由次節(jié)點(diǎn)代替它。次節(jié)點(diǎn)通常是主節(jié)點(diǎn)的鏡像,所以當(dāng)它代替主節(jié)點(diǎn)時(shí),它可以完全接管其身份,并且因此使系統(tǒng)環(huán)境對(duì)于用戶是一致的。
高可用性(HA)群集致力于使服務(wù)器系統(tǒng)的運(yùn)行速度和響應(yīng)速度盡可能快。它們經(jīng)常利用在多臺(tái)機(jī)器上運(yùn)行的冗余節(jié)點(diǎn)和服務(wù),用來相互跟蹤。如果某個(gè)節(jié)點(diǎn)失敗,它的替補(bǔ)將在幾秒鐘或更短時(shí)間內(nèi)接管它的職責(zé)。因此,對(duì)于用戶而言,群集永遠(yuǎn)不會(huì)停機(jī)。
某些HA群集也可以維護(hù)節(jié)點(diǎn)間冗余應(yīng)用程序。因此,用戶的應(yīng)用程序?qū)⒗^續(xù)運(yùn)行,即使他或她使用的節(jié)點(diǎn)出了故障。正在運(yùn)行的應(yīng)用程序會(huì)在幾秒之內(nèi)遷移到另一個(gè)節(jié)點(diǎn),而所有用戶只會(huì)察覺到響應(yīng)稍微慢了一點(diǎn)。但是,這種應(yīng)用程序級(jí)冗余要求將軟件設(shè)計(jì)成具有群集意識(shí)的,并且知道節(jié)點(diǎn)失敗時(shí)應(yīng)該做什么。
HA群集也可以執(zhí)行負(fù)載均衡,但通常主服務(wù)器運(yùn)行作業(yè),而系統(tǒng)使輔助服務(wù)器保持閑置。輔助服務(wù)器通常是主服務(wù)器操作系統(tǒng)設(shè)置的鏡像,盡管硬件本身稍有不同。輔助節(jié)點(diǎn)對(duì)主服務(wù)器進(jìn)行活動(dòng)監(jiān)控或心跳觀察,以查看它是否仍在運(yùn)行。如果心跳計(jì)時(shí)器沒有接收到主服務(wù)器的響應(yīng),則輔助節(jié)點(diǎn)將接管網(wǎng)絡(luò)和系統(tǒng)身份。
在群集的這三種基本類型之間,經(jīng)常會(huì)發(fā)生混合與交雜?梢园l(fā)現(xiàn)高可用性群集也可以在其節(jié)點(diǎn)之間均衡用戶負(fù)載。同樣,也可以從要編寫應(yīng)用程序的群集中找到一個(gè)并行群集,它可以在節(jié)點(diǎn)之間執(zhí)行負(fù)載均衡。從這個(gè)意義上講,這種集群類別的劃分是一個(gè)相對(duì)的概念,不是絕對(duì)的。
四、集群的科研應(yīng)用
1、科學(xué)群集與并行計(jì)算
科學(xué)集群是并行計(jì)算的基礎(chǔ),在科研領(lǐng)域,如:天氣預(yù)報(bào),核試驗(yàn)?zāi)M等領(lǐng)域,科學(xué)集群獲得了廣泛的應(yīng)用。因?yàn)榭茖W(xué)集群涉及為解決特定的而設(shè)計(jì)的應(yīng)用程序,需要有一定的學(xué)科背景知識(shí),所以這里不作具體介紹。
2、負(fù)載均衡群集的遠(yuǎn)程
對(duì)于教育應(yīng)用來說,負(fù)載均衡集群是應(yīng)用面最廣,最有潛力的集群應(yīng)用形式。
隨著網(wǎng)絡(luò)教育的發(fā)展,網(wǎng)絡(luò)教育系統(tǒng)的用戶將成幾何方式增長(zhǎng)。由此而導(dǎo)致教育類網(wǎng)站的訪問量大幅增長(zhǎng)。由于教育網(wǎng)絡(luò)資源很多是多媒體素材,包括音頻、視頻、動(dòng)畫等,這就會(huì)產(chǎn)生極大的網(wǎng)絡(luò)流量負(fù)載以及額外的處理負(fù)載。
在這種情況下,單機(jī)的處理能力很快得到飽和,一種方案就是升級(jí)系統(tǒng)。升級(jí)系統(tǒng)的會(huì)導(dǎo)致服務(wù)器工作在降級(jí)模式下或服務(wù)器關(guān)機(jī),對(duì)于客戶來說,其效果和服務(wù)器遭受DOS攻擊時(shí)的效果時(shí)一樣的。
舉個(gè)簡(jiǎn)單的例子,許多網(wǎng)站在升級(jí)的過程中,比如(同學(xué)錄),會(huì)不能訪問或者有個(gè)提示:"系統(tǒng)升級(jí)中,請(qǐng)稍后再訪問"。這個(gè)"稍后"的概念通常是半天左右;而大家也可以注意到,象google這樣的網(wǎng)站,在比(中國(guó)同學(xué)錄)的客戶訪問量上要大很多的情況下也幾乎沒有出現(xiàn)這種情況,原因就在于google采用的是集群服務(wù)器。Google系統(tǒng)升級(jí)在后臺(tái)進(jìn)行的時(shí)候,其處理和IO負(fù)載被自動(dòng)分發(fā)到集群中的其他服務(wù)器上,所以對(duì)于用戶而言,幾乎感覺不到在響應(yīng)時(shí)間方面的差別。
另外一種方案就是添置新的服務(wù)器,但是在網(wǎng)絡(luò)上,一臺(tái)機(jī)器唯一的對(duì)應(yīng)于一個(gè)IP地址,一個(gè)IP唯一的與一個(gè)域名綁定,客戶需要在訪問一個(gè)URL的時(shí)候得到相同的響應(yīng),而不是來自不同主機(jī)的不同響應(yīng)。這就要求新添置的服務(wù)器和原有的服務(wù)器應(yīng)該對(duì)外看起來就像一臺(tái)服務(wù)器一樣,而不是多臺(tái)服務(wù)器。而這正是集群所產(chǎn)生的效果。
當(dāng)教育網(wǎng)站的處理能力和IO能力超出單機(jī)的負(fù)載能力時(shí),考慮性價(jià)比、運(yùn)維成本、可靠性等多方面因素,集群技術(shù)就成為最佳的選擇。下面給出一個(gè)集群技術(shù)在教育科研網(wǎng)中的應(yīng)用實(shí)例。
五、實(shí)際應(yīng)用方案舉例
方案名稱:寧波市教委教育與科研網(wǎng)絡(luò)整體系統(tǒng)
按照寧波市教委的意見,要求在2010年基本上實(shí)現(xiàn)全市范圍內(nèi)教師、學(xué)生、家長(zhǎng)共同使用互聯(lián)網(wǎng)進(jìn)行教學(xué)與管理。依據(jù)寧波市發(fā)展的總體水平與增長(zhǎng)趨勢(shì),這個(gè)目標(biāo)經(jīng)過努力,是完全可以實(shí)現(xiàn)的。由此,教科網(wǎng)的構(gòu)建成為整個(gè)目標(biāo)的關(guān)鍵一環(huán),其中包括了教育與科研網(wǎng)主干、教委辦公系統(tǒng)、教委網(wǎng)上平臺(tái)、網(wǎng)上學(xué)校、資源、內(nèi)部E-MAIL等部分。而基于Turbolinux的整體教育解決方案以其出眾的性價(jià)比、高可靠性和可擴(kuò)展性,出色的擔(dān)當(dāng)了這一重任。
1、項(xiàng)目背景
1999年寧波市共有各級(jí)各類學(xué)校(含幼兒園)3078所,在校生95。28萬(wàn)人,教職工5。72萬(wàn)人。是年,全市新增了公安海警高等專校等5所學(xué)校,使全市普通高校和成人高?倲(shù)達(dá)到11所,在校生超過3萬(wàn)人。全市共有11185名學(xué)生升入全日制高校,高等教育毛入學(xué)率達(dá)到10。5%。與全國(guó)平均水平持平。普通中等專業(yè)學(xué)校24所。成人中專22所,在校生4。2萬(wàn)人,有普通中學(xué)326所,在校生25.12萬(wàn)人;初中畢業(yè)生升入高中段學(xué)習(xí)的比例為78。81%,據(jù)全省第一,普職招生比例保持在4.1:5.9,城區(qū)已經(jīng)基本普及高中段教育。小學(xué)1195所,在校生43.38萬(wàn)人。幼兒園2024所,在園幼兒15.05萬(wàn)人,幼兒園入園率達(dá)到93.64%。全市基本普及九年義務(wù)教育,義務(wù)教育人口覆蓋率為100%?梢钥吹,寧波市的教育狀況走到了全國(guó)領(lǐng)先的地步,而整個(gè)教育系統(tǒng)的上網(wǎng)也就提上了日程。
2、業(yè)務(wù)挑戰(zhàn)
寧波教科網(wǎng)由于組成部分多,多功能需求也就比較復(fù)雜,大體包含以下部分。
2.1大容量郵件
根據(jù)規(guī)劃,需要將市教委直屬機(jī)關(guān)、寧波市區(qū)所有學(xué)校的老師和學(xué)生的電子信箱集中放在教育和科研網(wǎng)絡(luò)中心的電子函件服務(wù)器中。因此電子郵件服務(wù)器的容量估計(jì)需要10萬(wàn)。而且,今后可以依據(jù)需要擴(kuò)充。
2.2LDPA;
為了保證整個(gè)網(wǎng)站的一致性和安全性,需要采用LDPA認(rèn)證。
2.3支持Webmail:
為了方便使用,必須支持Webmail,用戶只要使用瀏覽器就可以完成所有的郵件操作。
2.4Web
寧波市教委網(wǎng)站市一個(gè)為全市3000所中小學(xué)提供網(wǎng)上服務(wù)的平臺(tái)。該平臺(tái)應(yīng)該以方便使用為目標(biāo),各個(gè)中小學(xué)、教委機(jī)構(gòu)通過注冊(cè)用戶發(fā)布自己的網(wǎng)上信息。網(wǎng)管中心負(fù)責(zé)整個(gè)網(wǎng)站系統(tǒng)的安全和穩(wěn)定工作
2.5辦公自動(dòng)化系統(tǒng)(OA)
教委辦公信息系統(tǒng)的實(shí)現(xiàn)市整個(gè)教科網(wǎng)的軟件實(shí)現(xiàn)的第一步,所以它不僅要在功能上能符合現(xiàn)在教委業(yè)務(wù)的需要,而且在整個(gè)體系結(jié)構(gòu)上必須和以后要實(shí)現(xiàn)的學(xué)校辦公系統(tǒng),教委義務(wù)管理系統(tǒng)、學(xué)校業(yè)務(wù)管理系統(tǒng)之間有很好的接口。另外在市教委系統(tǒng)和各縣(市。區(qū))教委系統(tǒng)之間有較好的接口。
2.6網(wǎng)上學(xué)校
包括課件、教師、學(xué)生、練習(xí)、答疑、討論、點(diǎn)播、交互等多個(gè)部分
2.7資源
包括各種音頻、視頻、文本、動(dòng)畫等資源
3.項(xiàng)目實(shí)施
3.1Web系統(tǒng)
通過Turbolinuxserver和turboClusterserver構(gòu)建WebServer集群。實(shí)現(xiàn)Web、FTP等服務(wù)的負(fù)載均衡和高可用性方案。WebServer為Apache。對(duì)于基于BS結(jié)構(gòu)的OA系統(tǒng)?梢酝ㄟ^此接口為用戶提供可靠的服務(wù)。
3.2數(shù)據(jù)庫(kù)系統(tǒng)
通過TurbolinuxDataServer+Oracle8i和TurboHA構(gòu)建Database集群,提供高可用性的數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)為Oracle8i,通過TurboHA實(shí)現(xiàn)雙擊熱備份功能。對(duì)于OA系統(tǒng),可以提供可靠的數(shù)據(jù)庫(kù)服務(wù)
3.3Mail系統(tǒng)
通過TurbolinuxServer和TurboHA為Mail系統(tǒng)提供穩(wěn)定的系統(tǒng)平臺(tái)
3.4OA系統(tǒng)
根據(jù)具體需求合作開發(fā),使用TurbolinuxDataServer+Oracle8i為開發(fā)工具,該軟件提供構(gòu)建復(fù)雜的網(wǎng)站的開發(fā)、部署、服務(wù)等全套方案。系統(tǒng)硬件平臺(tái)采用基于intel至強(qiáng)處理器的服務(wù)器。
4.效果評(píng)價(jià)
該系統(tǒng)構(gòu)建已經(jīng)完成,預(yù)期的功能都已經(jīng)得到很好的實(shí)現(xiàn)。對(duì)于寧波教委的日常工作、網(wǎng)上教育有了極大的促進(jìn)作用。當(dāng)然,這只是整個(gè)教科網(wǎng)構(gòu)建的第一步,而寧波市教委也正在大力推廣應(yīng)用Turbolinux教育解決方案的經(jīng)驗(yàn),爭(zhēng)取早日實(shí)現(xiàn)全市全校網(wǎng)上教學(xué)的宏偉目標(biāo)。
六、結(jié)束語(yǔ)
集群技術(shù)是一種通用的技術(shù),其目的是為了解決單機(jī)運(yùn)算能力的不足、IO能力的不足、提高服務(wù)的可靠性、獲得規(guī)模可擴(kuò)展能力,降低整體方案的運(yùn)維成本(運(yùn)行、升級(jí)、維護(hù)成本)。只要在其他技術(shù)不能達(dá)到以上的目的,或者雖然能夠達(dá)到以上的目的,但是成本過高的情況下,就可以考慮采用集群技術(shù)。
科研領(lǐng)域一直是集群技術(shù),特別是并行技術(shù)應(yīng)用最為廣泛的領(lǐng)域。但是對(duì)于教育領(lǐng)域來說,集群技術(shù)在很長(zhǎng)的一段時(shí)間內(nèi)沒有很大的應(yīng)用空間,即便在教育的如火如荼的今天,集群的教育應(yīng)用也相當(dāng)有限。我認(rèn)為主要在于集群技術(shù)的教育應(yīng)用還沒有形成需求,對(duì)于當(dāng)今絕大多數(shù)教育類網(wǎng)站,單機(jī)處理能力就可以滿足其要求,不可能,也沒有必要采用集群技術(shù)。前文中列舉了寧波市的教育應(yīng)用方案,并不是說寧波市的教育網(wǎng)絡(luò)應(yīng)用必須要集群技術(shù)來支持,只能說這是turbolinux的市場(chǎng)運(yùn)營(yíng)的一個(gè)成功案例。事實(shí)上,這個(gè)案例也是turbolinux推廣其產(chǎn)品的經(jīng)典案例之一。集群技術(shù)在遠(yuǎn)程教育方面的應(yīng)用需求,至少要在遠(yuǎn)程教育形成規(guī)模的情況下才可能真正出現(xiàn)。
【集群技術(shù)科研應(yīng)用管理論文】相關(guān)文章:
光環(huán)網(wǎng)技術(shù)在空中交通管理中的應(yīng)用論文04-16
企業(yè)知識(shí)管理應(yīng)用論文11-04
網(wǎng)絡(luò)信息安全技術(shù)管理下計(jì)算機(jī)應(yīng)用論文04-26
計(jì)算機(jī)應(yīng)用技術(shù)論文11-03
多媒體技術(shù)在鋼琴教學(xué)中應(yīng)用論文04-28
計(jì)算機(jī)應(yīng)用技術(shù)在信息管理中的應(yīng)用研究論文(精選6篇)09-20
應(yīng)用電子技術(shù)專業(yè)論文開題報(bào)告11-03
淺談現(xiàn)代教育技術(shù)的應(yīng)用論文(精選11篇)05-23