04-06
2023(1)資源浪費(fèi)
通常在企業(yè)內(nèi)部存在多個(gè)不同的技術(shù)團(tuán)隊(duì)與業(yè)務(wù)團(tuán)隊(duì),。若每個(gè)團(tuán)隊(duì)搭建各自的大數(shù)據(jù)集群,,服務(wù)器資源便會(huì)被分割成若干小塊而不能發(fā)揮合力,,服務(wù)器資源的整體利用率也無(wú)法得到保障,,這無(wú)疑會(huì)造成企業(yè)資源的浪費(fèi),。
其次大數(shù)據(jù)集群涉及的技術(shù)繁雜,搭建和運(yùn)維需學(xué)習(xí)和運(yùn)營(yíng)成本,。這種重復(fù)的建設(shè)既費(fèi)力又毫無(wú)意義,,導(dǎo)致資源無(wú)謂浪費(fèi)。
(2)數(shù)據(jù)孤島
若企業(yè)內(nèi)部存在多個(gè)分散的小集群,,那么業(yè)務(wù)數(shù)據(jù)從物理上便被孤立地存儲(chǔ)于各小集群中,,無(wú)法對(duì)數(shù)據(jù)全量的整合使用,數(shù)據(jù)失去關(guān)聯(lián)的能力,,同時(shí)也喪失大數(shù)據(jù)技術(shù)使用全量數(shù)據(jù)進(jìn)行分析的優(yōu)勢(shì),。
其次,在這種情況下也很難實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)一的模型定義與存儲(chǔ),,相同的數(shù)據(jù)被不同的部門(mén)賦予不同的含義,,同一份數(shù)據(jù)以不同的模型定義重復(fù)地存儲(chǔ)多個(gè)集群中,不僅造成存儲(chǔ)資源浪費(fèi),,還增加不同部門(mén)間的溝通成本,。
(3)服務(wù)孤島
企業(yè)內(nèi)部各小集群的首要任務(wù)是支撐團(tuán)隊(duì)或項(xiàng)目組的業(yè)務(wù)場(chǎng)景來(lái)滿(mǎn)足自身的需求,所以在實(shí)現(xiàn)功能時(shí)不會(huì)以面向服務(wù)的思維來(lái)抽象提煉服務(wù),,很可能都沒(méi)有暴露供小集群外部使用的服務(wù),。就算小集群有提供服務(wù),也缺乏統(tǒng)一的頂層設(shè)計(jì),,提供的服務(wù)參差不齊,,其訪問(wèn)入口也不統(tǒng)一。這些服務(wù)被分散在不同的集群中,,應(yīng)用程序不能跨多個(gè)集群使用所有服務(wù),。
(4)安全存疑
企業(yè)內(nèi)部各項(xiàng)目組或團(tuán)隊(duì)自身維護(hù)的小集群通常都只為支撐自身業(yè)務(wù)而實(shí)現(xiàn)的,不會(huì)同時(shí)面對(duì)多個(gè)用戶(hù),。企業(yè)通過(guò)一些行政管理手段保障集群的安全,。但當(dāng)團(tuán)隊(duì)人員擴(kuò)充、集群規(guī)模擴(kuò)大或大數(shù)據(jù)集群的服務(wù)同時(shí)面向多個(gè)技術(shù)團(tuán)隊(duì)和業(yè)務(wù)部門(mén)時(shí),,會(huì)顯露諸多問(wèn)題,。首當(dāng)其沖的便是需要面對(duì)多用戶(hù)的問(wèn)題,集群不再只有一個(gè)用戶(hù),,而是需要面對(duì)多個(gè)不同的用戶(hù),,會(huì)引出如用戶(hù)的管理、用戶(hù)的訪問(wèn)控制,、服務(wù)的安全控制和數(shù)據(jù)的授權(quán)等問(wèn)題,。
(5)缺乏可維護(hù)性和可擴(kuò)展性
大數(shù)據(jù)領(lǐng)域的技術(shù)發(fā)展日新月異,,正處于高速發(fā)展時(shí)期。集群服務(wù)有時(shí)需更新以獲得新的能力,,或需要安裝補(bǔ)丁以修復(fù)Bug,。在這種情況下對(duì)多個(gè)小集群進(jìn)行維護(hù)就會(huì)變得非常麻煩。同時(shí)當(dāng)某個(gè)小集群性能達(dá)到瓶頸時(shí),,無(wú)法容易地做到橫向擴(kuò)容,。
(6)缺乏可復(fù)制性
小集群缺乏統(tǒng)一的技術(shù)路線,導(dǎo)致大數(shù)據(jù)集群的運(yùn)維工作缺乏可復(fù)制性,。因一個(gè)部門(mén)或團(tuán)隊(duì)與其他部門(mén)使用的技術(shù)組件不一致,,這樣一個(gè)集群的安裝、維護(hù)和調(diào)試等經(jīng)驗(yàn)就無(wú)法快速?gòu)?fù)制和推廣到其他團(tuán)隊(duì)或部門(mén),。同時(shí)在大數(shù)據(jù)應(yīng)用研發(fā)方面也會(huì)存在同樣的問(wèn)題,,從以往的項(xiàng)目中提煉、抽象和總結(jié)一些經(jīng)驗(yàn),、規(guī)則或是開(kāi)發(fā)框架來(lái)幫助應(yīng)用研發(fā),,但是技術(shù)路線的不統(tǒng)一將導(dǎo)致經(jīng)驗(yàn)喪失指導(dǎo)意義。