這期內(nèi)容當中小編將會給大家?guī)碛嘘PCDP私有云基礎版7.1.6的新功能是什么呢,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
創(chuàng)新互聯(lián)建站是一家專注于網(wǎng)站建設、成都網(wǎng)站設計與策劃設計,龍勝網(wǎng)站建設哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設十多年,網(wǎng)設計領域的專業(yè)建站公司;建站業(yè)務涵蓋:龍勝等地區(qū)。龍勝做網(wǎng)站價格咨詢:13518219792
根據(jù)IDG的說法,當客戶考慮更新到產(chǎn)品的最新版本時,他們期望新功能、增強的安全性和更好的性能,但越來越希望擁有更簡化的升級過程。伴隨著CDP私有云的每個新版本,我們正在努力提供這些內(nèi)容。伴隨著許多新功能,我們正在盡可能簡化升級過程。在此博客中,我們將介紹7.1.6版本中的新功能以及從HDP進行的新的就地升級,從而完全消除了替換基礎架構(gòu)和數(shù)據(jù)遷移的麻煩。
如下所示,CDP私有云基礎堆棧為CDH 5.13 – 5.16和HDP 2.6.5的客戶提供了升級途徑。在此版本中,我們還支持從HDP 3.1.5升級。
CDP私有云基礎7.1.6提供以下類別的好處:
更好的升級支持
支持從HDP 3.1.5到CDP私有云基礎版的就地升級,并增強了自動化工具的功能,可以輕松地從Ambari過渡到Cloudera Manager。
支持HDP2.6.5和CDH5.[13-16]的回滾以及相應的文檔
使用處理更復雜放置規(guī)則的增強工具,改進了“公平計劃程序”到“容量計劃程序”的轉(zhuǎn)換。
平臺增強
YARN新的放置規(guī)則引擎為公平調(diào)度程序到容量調(diào)度程序的遷移提供了更好的轉(zhuǎn)換,并提供了更好的放置規(guī)則管理
對父隊列和子隊列的自動動態(tài)隊列支持
增加了權(quán)重模式以支持CDH客戶更輕松的過渡。
新增了對獨立NiFi / Kafka集群的支持
我們增加了對RHEL / CentOS 7.9的操作系統(tǒng)支持以及對MySQL8和Postgres 12的數(shù)據(jù)庫支持,以進一步協(xié)助遷移。
對象存儲
Ozone是一種分布式鍵值對象存儲,可提供20倍于傳統(tǒng)HDFS的可伸縮性,并減少了集群蔓延,消除了小文件數(shù)量的限制并簡化了集群管理。
Ozone支持350TB的密集型節(jié)點配置,與HDFS相比,當前的可用存儲容量增加了350%, 并將存儲成本降低了50%。
SDX –安全與治理
Ranger審核篩選器可提供更好的審核管理。Ranger Audit篩選器有助于使用JSON定義的篩選器來控制捕獲的審核事件,以便僅通過包含相關事件來簡化審核量。
對Ranger Audit UI的改進,它提供了諸如可調(diào)整列和通過UI選擇可見列的選項之類的增強功能。
數(shù)據(jù)工程
采用Spark 3,將性能提高一倍,現(xiàn)在作為單獨的組件發(fā)布
Hive Warehouse Connector(HWC)使數(shù)據(jù)工程更簡單,更快捷。
與HWC更好的Hive-Spark交互,使數(shù)據(jù)工程應用程序更簡單,更高效地創(chuàng)建。
數(shù)據(jù)倉庫
與傳統(tǒng)的MapReduce相比,使用Hive on Tez的有向無環(huán)圖(DAG)和數(shù)據(jù)傳輸原語可提高查詢性能。
Impala的改進將性能提高了2倍至7倍。
具有實例化視圖和查詢緩存的更快的Hive查詢
我們已在Impala中啟用了與角色相關的語句,以允許使用Ranger作為授權(quán)提供者,而不是CDH用戶的Sentry。
運營數(shù)據(jù)庫
Phoenix 5.1增加了事務支持
同時支持SQL和No SQL,吞吐性能提高15 – 20%。
支持運行TPC-C基準測試的復雜x-row / x-table分布式事務以及對ANSI SQL的支持,可以輕松地從MySQL數(shù)據(jù)庫遷移到Operational Database。
我們添加了基于Accumulo 2.0的“由ApacheAccumulo支持的OpDB”,使使用Accumulo的HDP客戶能夠使用語義版本控制,批量導入和簡化腳本等功能升級到CDP私有云基礎版。
現(xiàn)在,讓我們吸引您注意其中的3個功能,并擴展它們?yōu)槠脚_帶來的功能。
HDP 3.1.5客戶現(xiàn)在可以將其HDP 3集群直接升級到CDP私有云基礎版,而無需構(gòu)建新群集并遷移工作負載或數(shù)據(jù)。
升級路徑包括以下步驟:
已創(chuàng)建新版本的AM2CM工具(1.2.0),以支持從Ambari托管集群到Cloudera Manager托管集群的過渡。
AM2CM工具將Ambari 2.7.5藍圖作為輸入并將其轉(zhuǎn)換為Cloudera Manager部署模板。接下來,客戶可以將部署模板遷移到Cloudera Manager,這使客戶可以通過Cloudera Manager啟動CDP集群。
此外,現(xiàn)在可以使用回滾過程從HDP2和CDH5群集進行升級。
公平調(diào)度程序到容量調(diào)度程序(FS2CS)轉(zhuǎn)換工具為從先前CDH版本升級的客戶提供了改進的調(diào)度程序過渡。
借助該工具,客戶可以使用相同或更好的SLA來運行其作業(yè)或應用程序,而無需進行任何中斷或代碼更改。將群集升級到CDP之后,客戶現(xiàn)在可以使用YARN QueueManager以更加用戶友好的方式調(diào)整群集資源管理配置。
我們引入了以下新功能
增強型放置規(guī)則引擎
動態(tài)隊列支持
權(quán)重模式
放置規(guī)則確定將應用程序和作業(yè)分配到的隊列。在新的布局規(guī)則評估引擎已增強為客戶提供以下情況:
支持來自單親的靜態(tài)隊列和動態(tài)隊列。
具有備用操作配置的其他策略選項,可以將其定義為在放置規(guī)則的目標隊列不存在或無法創(chuàng)建時應執(zhí)行的操作
引入放置規(guī)則策略可以提供比映射規(guī)則創(chuàng)建更好的解決方案,并且可以為最常見的用例提供快捷方式。
放置規(guī)則引擎現(xiàn)在支持create標志,該標志在啟用自動動態(tài)隊列創(chuàng)建時創(chuàng)建不存在的隊列。
自動將舊的放置規(guī)則(隊列映射)轉(zhuǎn)換為新的基于JSON的格式
從單個頁面創(chuàng)建新的放置規(guī)則,該規(guī)則允許配置所有選項:
在7.1.6之前的版本中,客戶可以使用絕對模式(將資源按單位分配)或相對模式(將資源分配為總可用資源的百分比)來將資源分配給隊列。在此版本中,我們添加了一種新的分配資源的模式,稱為權(quán)重模式。權(quán)重模式的功能包括:
將容量分配為數(shù)值并以“ w”為后綴。權(quán)重是總資源的一小部分。隊列優(yōu)先級用作權(quán)重,以確定每個應用程序應獲得的總資源的比例。
只需點擊幾下即可在相對和權(quán)重模式之間切換
一鍵啟用隊列的自動動態(tài)子級創(chuàng)建。這允許父隊列同時具有靜態(tài)和動態(tài)子隊列。靜態(tài)隊列具有規(guī)則和表達式以及預先創(chuàng)建的目標隊列和用戶映射。動態(tài)隊列允許基于規(guī)則和表達式自動創(chuàng)建隊列??赏ㄟ^YARN隊列管理器UI輕松啟用此功能。
我們已將Apache Phoenix 5.1作為Operation Database的一部分發(fā)布到CDP私有云中,以提供以下功能:
基于Apache HBase構(gòu)建的橫向擴展RDBMS
星型模式支持和演化模式支持
視圖和二級索引支持
全面支持Apache Omid
通過Phoenix 5.1,我們添加了復雜的x行,x表事務支持(開箱即用地支持TPC-C基準測試)。在此版本之前,Phoenix僅支持單行原子事務。在此版本中,將分片的MySQL和PostgreSQL部署遷移到Cloudera變得更加容易,Cloudera的分區(qū)管理是完全自動化的,并且擴展并不意味著增加了操作復雜性。
此版本還對我們的二級索引進行了改進,以確保索引更新與數(shù)據(jù)插入和高插入之間保持高度一致。
借助7.1.6版本添加的新功能,增強功能和改進的升級途徑,現(xiàn)在沒有更好的時間將現(xiàn)有的CDH或HDP集群過渡到CDP私有云基礎版。要計劃您的遷移,請參閱CDP升級和遷移路徑以獲取更多信息,或與您的Cloudera客戶團隊聯(lián)系以討論最佳方法。
上述就是小編為大家分享的CDP私有云基礎版7.1.6的新功能是什么呢了,如果剛好有類似的疑惑,不妨參照上述分析進行理解。如果想知道更多相關知識,歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
網(wǎng)站名稱:CDP私有云基礎版7.1.6的新功能是什么呢
本文鏈接:http://chinadenli.net/article30/poocso.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供電子商務、網(wǎng)站策劃、品牌網(wǎng)站設計、搜索引擎優(yōu)化、動態(tài)網(wǎng)站、外貿(mào)建站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)