中文字幕日韩一区二区不卡,亚洲av永久无码精品天堂动漫,亚洲av无码国产精品麻豆天美,最新版天堂中文在线,中文字幕视频在线看

a&s專業(yè)的自動化&安全生態(tài)服務(wù)平臺
公眾號
安全自動化

安全自動化

安防知識網(wǎng)

安防知識網(wǎng)

手機站
手機站

手機站

大安防供需平臺
大安防供需平臺

大安防供需平臺

資訊頻道橫幅A1
首頁 > 資訊 > 正文

開源ETL軟件在智能化集成系統(tǒng)中的應(yīng)用

資訊頻道文章B

    智能化集成系統(tǒng)將不同功能的建筑智能化系統(tǒng),通過統(tǒng)一的信息平臺實現(xiàn)集成,從而形成了具有信息匯集、資源共享及優(yōu)化管理等綜合功能的系統(tǒng)。經(jīng)過十余年的發(fā)展,智能化集成系統(tǒng)已經(jīng)具有了豐富的功能,并在各種類型的智能建筑中都得到了廣泛應(yīng)用。

    智能化集成系統(tǒng)實現(xiàn)的基礎(chǔ)及其最基本的功能是對各智能化子系統(tǒng)進行數(shù)據(jù)通信、信息采集和綜合處理。智能化集成系統(tǒng)在對門禁系統(tǒng)、消費系統(tǒng)、考勤系統(tǒng)、停車場管理系統(tǒng)等常見子系統(tǒng)進行集成時,子系統(tǒng)的人員進出記錄、刷卡記錄、收費記錄等都是必須進行采集的信息。這些信息一般都按照子系統(tǒng)自定義的數(shù)據(jù)格式、保存在子系統(tǒng)的數(shù)據(jù)庫中,而集成系統(tǒng)對這些信息的采集方式也正是從子系統(tǒng)數(shù)據(jù)庫中讀取關(guān)心的數(shù)據(jù)、進行格式轉(zhuǎn)換、然后存入集成系統(tǒng)的數(shù)據(jù)庫中。因此,數(shù)據(jù)庫讀取、轉(zhuǎn)換和保存技術(shù)已經(jīng)成為智能化集成系統(tǒng)中必不可少的一項關(guān)鍵技術(shù)。

1. 智能化集成系統(tǒng)中常見的數(shù)據(jù)轉(zhuǎn)換技術(shù)的比較分析
    智能化集成系統(tǒng)對子系統(tǒng)數(shù)據(jù)庫進行數(shù)據(jù)讀取和轉(zhuǎn)換時,主要有3種實現(xiàn)方案,分別是:
(1) 自行開發(fā)數(shù)據(jù)庫讀取和轉(zhuǎn)換軟件,數(shù)據(jù)讀取和轉(zhuǎn)換規(guī)則寫死在程序代碼里;
(2) 使用第三方開發(fā)包或自行開發(fā)可配置的數(shù)據(jù)轉(zhuǎn)換軟件,數(shù)據(jù)讀取和轉(zhuǎn)換規(guī)則寫在配置文件當(dāng)中; (3) 自行開發(fā)或使用第三方的可視化數(shù)據(jù)轉(zhuǎn)換軟件,數(shù)據(jù)讀取和轉(zhuǎn)換規(guī)則通過圖形界面來配置。

    顯而易見,第三種是最優(yōu)的方案,也是集成系統(tǒng)工程實施效率最高、對調(diào)試人員技術(shù)水平要求最低的方案。

    實際上,第三種方案中提到的可視化數(shù)據(jù)轉(zhuǎn)換軟件就是我們常說的ETL(Extract-Transform-Load,即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載)工具軟件。ETL工具軟件是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán),用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù),經(jīng)過數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型,將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。

    除了自行開發(fā)ETL軟件之外,市面上還有很多現(xiàn)成的ETL工具軟件可供選擇,既有商業(yè)軟件,也有開源軟件,我們經(jīng)過多方對比分析后,最終選擇了使用開源軟件Kettle作為同方ezIBS智能化集成系統(tǒng)的ETL工具。[nextpage]

2. ezIBS智能化集成系統(tǒng)選擇Kettle作為ETL工具的理由
    (1) Kettle是一款由Pentaho公司開發(fā)的功能強大的開源 ETL工具軟件。Kettle具有可視化的流程設(shè)計工具,良好的插件擴展功能,支持集群操作??梢哉f,Kettle是目前開源世界里功能最全的一款ETL工具。Kettle軟件的名稱很有意思,直譯是水壺。按項目負責(zé)人Matt的說法:把各種數(shù)據(jù)放到一個壺里,然后呢,以一種你希望的格式流出。

    (2) Kettle是一款開源產(chǎn)品,本身是免費的,成本主要是培訓(xùn)和咨詢,所以成本會一直維持在一個較低水平;且由于價格上的優(yōu)勢,開源產(chǎn)品可以在很大程度上降低項目的風(fēng)險。2008年是開源軟件界風(fēng)起云涌的一年,開源軟件進入了越來越多軟件開發(fā)廠商的視野。對于具有一定軟件開發(fā)實力的廠商來說,選擇開源軟件作為自己產(chǎn)品的補充這種方式也越來越流行,因為他們不僅僅是軟件的簡單使用者,更重要的是有信心能夠解決使用開源軟件中遇到的各種問題、并對開源軟件進行優(yōu)化和擴展。

    (3) Kettle與ezIBS智能化集成系統(tǒng)一樣,都是使用JAVA平臺開發(fā),所以在平臺移植性方面支持的非常好,無論是Windows還是LINUX/UNIX都可以方便的使用。

3. 在ezIBS智能化集成系統(tǒng)中整合Kettle軟件
Kettle實際上是一個ETL軟件包,它含有以下幾個主要模塊: 
Spoon(鏟子):用來設(shè)計數(shù)據(jù)轉(zhuǎn)換(transformation)和工作(job)的圖形化設(shè)計工具; 
Pan(平底鍋):用來執(zhí)行Spoon設(shè)計的數(shù)據(jù)轉(zhuǎn)換任務(wù)的命令行工具;
Chef(廚師):舊版本的數(shù)據(jù)轉(zhuǎn)換設(shè)計工具,已被Spoon取代,新版的Kettle發(fā)行包已經(jīng)不含有此模塊;
Kitchen(廚房):用來執(zhí)行Chef設(shè)計的數(shù)據(jù)轉(zhuǎn)換任務(wù)的命令行工具,出于兼容性的考慮仍被保留; 
Carte(菜單):可以遠程執(zhí)行數(shù)據(jù)轉(zhuǎn)換任務(wù)的Web服務(wù)器。

    從上面的模塊列表可以看到,Kettle缺少一項非常重要的功能-時間調(diào)度,也就是可以用來定時執(zhí)行Kettle的數(shù)據(jù)轉(zhuǎn)換任務(wù)的軟件模塊。使用Pan工具只能在其命令行程序被執(zhí)行的時候運行一次數(shù)據(jù)轉(zhuǎn)換任務(wù),而無法周期性的運行。這對于生產(chǎn)環(huán)境下的軟件系統(tǒng)來說是無法滿足要求的,因為我們必須定期的去檢查子系統(tǒng)數(shù)據(jù)庫是否產(chǎn)生了變化。

    將Kettle軟件集成到ezIBS智能化集成系統(tǒng)中、將它們作為一個整體來使用,對于ezIBS集成系統(tǒng)來說輕而易舉。因為ezIBS集成系統(tǒng)本身就含有一個完善的任務(wù)時間排程功能引擎(見圖2),可以用來定時執(zhí)行由Spoon設(shè)計的數(shù)據(jù)轉(zhuǎn)換任務(wù),并能監(jiān)控任務(wù)的執(zhí)行狀態(tài)和結(jié)果。

[nextpage]

4. 使用ezIBS及Kettle軟件進行數(shù)據(jù)庫子系統(tǒng)集成的實際案例
4.1 任務(wù)目標(biāo)
    將某門禁系統(tǒng)數(shù)據(jù)庫中的持卡人信息抽取到ezIBS集成系統(tǒng)數(shù)據(jù)庫中,并對兩個數(shù)據(jù)庫中的數(shù)據(jù)進行定時同步。

4.2 使用Spoon工具設(shè)計數(shù)據(jù)轉(zhuǎn)換任務(wù)
(1)設(shè)計數(shù)據(jù)轉(zhuǎn)換流程
    使用Spoon軟件中的表輸入、字段選擇、數(shù)據(jù)過濾、更新、表輸出等控件設(shè)計將門禁數(shù)據(jù)庫中的數(shù)據(jù)抽取到ezIBS數(shù)據(jù)庫的任務(wù)執(zhí)行流程。Spoon軟件的設(shè)計界面示意圖見圖3。

(2)數(shù)據(jù)抽?。‥xtract)
    在任務(wù)流程上的“表輸入”控件中填寫從門禁系統(tǒng)數(shù)據(jù)庫查詢數(shù)據(jù)的SQL語句。數(shù)據(jù)抽取主要是針對各個子系統(tǒng)及不同節(jié)點的分散數(shù)據(jù),充分理解數(shù)據(jù)定義后,規(guī)劃需要的數(shù)據(jù)源及數(shù)據(jù)定義,制定可操作的數(shù)據(jù)源,制定增量抽取的定義。

(3)數(shù)據(jù)傳輸
    此步驟在流程圖中表現(xiàn)為箭頭,用來連接各步驟的控件,起到承上起下的作用。

(4)數(shù)據(jù)轉(zhuǎn)換(Transform)
    在“字段選擇”控件中修改門禁數(shù)據(jù)庫和ezIBS數(shù)據(jù)庫中的字段對應(yīng)關(guān)系,例如圖3中的下面一行代表的意思是:持卡人的卡號在門禁數(shù)據(jù)庫中的字段名稱為KEY_NUMBER,而在ezIBS數(shù)據(jù)庫中的字段名稱為card_id,在數(shù)據(jù)轉(zhuǎn)換時要將門禁系統(tǒng)的KEY_NUMBER數(shù)據(jù)轉(zhuǎn)換為ezIBS系統(tǒng)的card_id數(shù)據(jù)。


(5)數(shù)據(jù)加載入庫(Load)
    使用“表輸出”或“更新”控件將轉(zhuǎn)換好的數(shù)據(jù)存入ezIBS數(shù)據(jù)庫。數(shù)據(jù)加載主要是將經(jīng)過轉(zhuǎn)換和清洗的數(shù)據(jù)加載到數(shù)據(jù)倉庫里面,即入庫,操作者可以通過數(shù)據(jù)文件直接裝載或直連數(shù)據(jù)庫的方式來進行數(shù)據(jù)裝載,充分地體現(xiàn)其高效性。[nextpage]

4.3 在ezIBS系統(tǒng)中設(shè)置數(shù)據(jù)轉(zhuǎn)換任務(wù)的時間排程
(1)新建數(shù)據(jù)庫任務(wù)策略
    Kettle不支持調(diào)度,一般只能使用操作系統(tǒng)自帶的調(diào)度功能。ezIBS提供了功能強大的日程管理調(diào)度,比起Windows自帶的任務(wù)計劃更多了優(yōu)先級、星期等的選擇,實現(xiàn)了與Kettle的無縫銜接。

    ezIBS的時間排程功能十分簡單易用,首先在任務(wù)管理界面上將Spoon輸出的ktr和ktj文件上傳(見圖4),然后在日程管理界面上設(shè)置數(shù)據(jù)轉(zhuǎn)換任務(wù)的執(zhí)行時間、循環(huán)次數(shù)(例如:每隔一分鐘執(zhí)行一次數(shù)據(jù)轉(zhuǎn)換任務(wù)進行數(shù)據(jù)同步)等參數(shù)即可(見圖2)。

(2)監(jiān)控數(shù)據(jù)庫任務(wù)的執(zhí)行狀態(tài)和結(jié)果
    ezIBS系統(tǒng)對所有任務(wù)策略的執(zhí)行情況進行監(jiān)控,以保證任務(wù)策略能夠正確、穩(wěn)定運行,并在發(fā)現(xiàn)錯誤或出現(xiàn)問題時通過電子郵件等方式通知管理員。

圖5 在ezIBS系統(tǒng)中監(jiān)控數(shù)據(jù)轉(zhuǎn)換任務(wù)的運行狀態(tài)

5. 結(jié)語
    Kettle軟件在智能化集成系統(tǒng)中的應(yīng)用,使得各個集成模塊可以實時、準確、高效的從子系統(tǒng)的數(shù)據(jù)庫中取得需要的數(shù)據(jù),并避免了自己開發(fā)數(shù)據(jù)轉(zhuǎn)換接口的效率低下和開發(fā)周期長等缺點。由于Kettle是一個開源工具,其免費、廣泛的技術(shù)支持也使開發(fā)成本降到最低。

    通過將開源軟件在ezIBS智能化集成系統(tǒng)中進行更廣泛的應(yīng)用,同時結(jié)合其本身開放性、安全性、易用性等特點,在品牌和規(guī)模優(yōu)勢的情況下,隨著時間的推移和技術(shù)的持續(xù)發(fā)展,開源軟件對ezIBS智能化集成系統(tǒng)的影響將繼續(xù)擴展,并幫助其實現(xiàn)更多的功能。

參與評論
回復(fù):
0/300
文明上網(wǎng)理性發(fā)言,評論區(qū)僅供其表達個人看法,并不表明a&s觀點。
0
關(guān)于我們

a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺,自1994年品牌成立以來,一直專注于安全&自動化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場趨勢的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化,a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經(jīng)驗,提供媒體、活動、展會等整合營銷服務(wù)。

免責(zé)聲明:本站所使用的字體和圖片文字等素材部分來源于互聯(lián)網(wǎng)共享平臺。如使用任何字體和圖片文字有冒犯其版權(quán)所有方的,皆為無意。如您是字體廠商、圖片文字廠商等版權(quán)方,且不允許本站使用您的字體和圖片文字等素材,請聯(lián)系我們,本站核實后將立即刪除!任何版權(quán)方從未通知聯(lián)系本站管理者停止使用,并索要賠償或上訴法院的,均視為新型網(wǎng)絡(luò)碰瓷及敲詐勒索,將不予任何的法律和經(jīng)濟賠償!敬請諒解!
? 2024 - 2030 Messe Frankfurt (Shenzhen) Co., Ltd, All rights reserved.
法蘭克福展覽(深圳)有限公司版權(quán)所有 粵ICP備12072668號 粵公網(wǎng)安備 44030402000264號
用戶
反饋