- 相關(guān)推薦
IBM Watson的基本原理和大數(shù)據(jù)分析
作為IT業(yè)界的頂級(jí)公司，IBM通過其認(rèn)證確定了產(chǎn)品專家的標(biāo)準(zhǔn)，可以說IBM在業(yè)界的聲望和IBM產(chǎn)品的市場占有率提升了其認(rèn)證工程師的含金量。下面是小編收集的關(guān)于IBM Watson的基本原理和大數(shù)據(jù)分析，希望大家認(rèn)真閱讀!
第一個(gè)服務(wù)器是演示服務(wù)器。這里是你需要編寫Java程序來支持提問和回答的邏輯與思考過程的地方，我們可以稱其為查詢面板。你會(huì)在查詢面板部署GUI，用來輸入你的問題、處理問題以及尋找答案。這也是你安裝OpenNLP的地方。OpenNLP是能“理解”寫入查詢面板的問題的應(yīng)用。問題的“答案”現(xiàn)在就能從NFS驅(qū)動(dòng)器里搜索。查詢面板是一個(gè)圖形用戶界面，用來輸入問題和顯示答案。在這個(gè)界面之下它所做的是通過將問題傳遞給一個(gè)安裝在此計(jì)算機(jī)上的叫做OpenNLP的應(yīng)用來嘗試“理解”這個(gè)問題。一旦問題被理解了，它就會(huì)檢索答案。在輸入一個(gè)問題之前，你需要告訴查詢面板從哪里來尋找答案。我們將會(huì)引導(dǎo)查詢面板從一個(gè)網(wǎng)絡(luò)文件系統(tǒng)驅(qū)動(dòng)器中尋找答案。這個(gè)驅(qū)動(dòng)器包含了來自其它服務(wù)器的從非結(jié)構(gòu)化數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換結(jié)果。在我們的這個(gè)原型體系中，所有被處理的數(shù)據(jù)都會(huì)被存儲(chǔ)在共享的NFS驅(qū)動(dòng)器里。
這是演示服務(wù)器的基本組件： Linux 64位; 最小8GB內(nèi)存; 兼容64位CPU; 50GB硬盤空間; Java SDK; 查詢面板; OpenNLP; 可以訪問NFS驅(qū)動(dòng)器; 已聯(lián)網(wǎng)，可以訪問內(nèi)網(wǎng)和互聯(lián)網(wǎng)。
業(yè)務(wù)邏輯服務(wù)器就是你的“思考”或者說分析計(jì)算機(jī)。對(duì)這個(gè)服務(wù)器里，你需要安裝Java SDK、Eclipse和UIMA SDK。創(chuàng)建UIMA應(yīng)用可以將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，這些應(yīng)用例如：類型描述;注釋器;分析引擎描述符;通用分析結(jié)構(gòu)(CAS);一些Java類;CAS數(shù)據(jù)處理控件。(這個(gè)服務(wù)器里還有)UIMA將要處理的以非結(jié)構(gòu)化數(shù)據(jù)形式存在的內(nèi)容。它的基本工作方式是——我們會(huì)用UIMA組件來從一個(gè)非結(jié)構(gòu)化數(shù)據(jù)池中獲得數(shù)據(jù)，這是通過編寫基于Java-UIMA的應(yīng)用來設(shè)定我們需要的關(guān)鍵詞。這些UIMA組件會(huì)采集關(guān)鍵詞并將其放入CAS或者說通用分析結(jié)構(gòu)。這些采集完的項(xiàng)就是我們希望找到的基于某種條件的東西。一旦到了CAS，我們編寫好的CAS處理控件就會(huì)將數(shù)據(jù)寫為一個(gè)結(jié)構(gòu)化的形式，例如數(shù)據(jù)庫、CSV平面文件或者是XML。你也將在此處創(chuàng)建你的UIMA應(yīng)用，以建立你的采集處理引擎。這些應(yīng)用是：類型描述;注釋器;分析引擎描述符;通用分析結(jié)構(gòu)(CAS);一些Java類;CAS數(shù)據(jù)處理控件。
這些是業(yè)務(wù)邏輯服務(wù)器的組件：Linux 64位;最小8GB內(nèi)存;兼容64位CPU;50GB硬盤空間;Java SDK;UIMA SDK;使用了UIMA的一些Java程序;聯(lián)網(wǎng)的共享的NFS驅(qū)動(dòng)器;網(wǎng)絡(luò)連接，可訪問內(nèi)網(wǎng)和英特網(wǎng)。
第三臺(tái)機(jī)器是文件和數(shù)據(jù)庫服務(wù)器。在這個(gè)地方你將存儲(chǔ)被其它系統(tǒng)需要的文件，這里也是輸出的文件被存放的地方。你需要在這里安裝一個(gè)能被其它系統(tǒng)讀取和寫入的NFS驅(qū)動(dòng)器。
這是一個(gè)包含Hadoop的文件與數(shù)據(jù)庫服務(wù)器的典型配置：Linux 64位;最小16GB內(nèi)存;兼容64位CPU;120GB硬盤空間;Java SDK;IBM InfoSphere BigInsights快速入門版;DB2數(shù)據(jù)庫(或其它任何數(shù)據(jù)庫);Wget Utility;安裝好的NFS驅(qū)動(dòng)器;已聯(lián)網(wǎng)，可以訪問內(nèi)網(wǎng)和互聯(lián)網(wǎng)。
總結(jié)：最終的服務(wù)器配置，包括了演示服務(wù)器、業(yè)務(wù)邏輯服務(wù)器以及數(shù)據(jù)庫(文件)服務(wù)器(Hadoop系統(tǒng))的組件。在云環(huán)境中，也許可以只創(chuàng)建兩個(gè)服務(wù)器，而將業(yè)務(wù)邏輯和數(shù)據(jù)庫服務(wù)器組合到一個(gè)里。查詢面板是你要輸入你的問題的地方，這里也是得到答案的地方。它所做的事情是，接收問題并將問題的處理交接給一個(gè)人工智能應(yīng)用，例如OpenNLP或OpenCyc，來理解這個(gè)問題。 在這個(gè)原型中，我們使用了OpenNLP。OpenNLP中有內(nèi)建的程序，它們可以分析問題的語法，對(duì)問題分塊以及對(duì)問題中的詞語進(jìn)行其它形式的處理和分類。一旦理解了問題，它就會(huì)調(diào)用一個(gè)程序來尋找答案。一個(gè)將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用(UIMA)已經(jīng)事先將答案所在的數(shù)據(jù)進(jìn)行了處理。然后查詢面板基于OpenNLP對(duì)問題的理解來從這些數(shù)據(jù)集中尋找答案。一旦問題被讀取后，答案會(huì)被顯示回查詢面板。
【IBM Watson的基本原理和大數(shù)據(jù)分析】相關(guān)文章：
IBM大數(shù)據(jù)分析07-09
IBM如何領(lǐng)導(dǎo)在云中構(gòu)建大數(shù)據(jù)分析07-24
IBM認(rèn)證的分類和獲得IBM認(rèn)證的好處10-18
IBM認(rèn)證考試科目和題型07-26
IBM和Visa變?yōu)闈撛阡N售點(diǎn)06-26
IBM簡介07-09
瑜伽養(yǎng)生基本原理10-28