自建開源大數(shù)據(jù)平臺會隨著企業(yè)數(shù)據(jù)的增長遇到：性能慢、擴容周期長、平臺穩(wěn)定性差、運維難、投入成本高等問題。在這里我們將從 EMR 的簡介、EMR與自建Hadoop對比優(yōu)勢、自建遷移上云的實踐案例來介紹 EMR 是如何解決這些問題的。

如果您需要定制遷移方案，可以點擊 立即申請，我們收到申請后將會與您取得聯(lián)系。

一、 產(chǎn)品簡介

彈性 MapReduce (EMR) 是基云原生技術(shù)和泛 Hadoop 生態(tài)開源技術(shù)的安全、低成本、高可靠的開源大數(shù)據(jù)平臺，組件完全源于開源社區(qū)，您可以將現(xiàn)有 IDC 或云上自建的大數(shù)據(jù)集群無縫平滑遷移至騰訊云EMR上。

(資料圖片僅供參考)

騰訊云 EMR 產(chǎn)品集成了社區(qū)中常見的熱門組件，包括但不限于 Hadoop、Hive、Hbase、Spark、Presto、Impala、Flink、Sqoop、Hue、Iceberg、Starrocks 等，可以滿足您對大數(shù)據(jù)在線業(yè)務、離線/在線數(shù)據(jù)倉庫、云原生數(shù)據(jù)湖構(gòu)建、實時流式計算等全方位場景的需求。

騰訊云彈性 EMR 核心產(chǎn)品能力如下圖所示：

● EMR集成了30+開源大數(shù)據(jù)組件，提供Hadoop2/3的多版本組件集供用戶選擇，您可以根據(jù)場景按需選擇使用的組件，一鍵分鐘級拉起云上大數(shù)據(jù)平臺。

● 云原生大數(shù)據(jù)平臺支持存儲計算分離架構(gòu)，解決傳統(tǒng)自建平臺擴容滯后、資源利用率低的挑戰(zhàn)。存算分離架構(gòu)下可實現(xiàn)基于COS數(shù)據(jù)分層存儲，計算資源彈性按需使用，提升資源利用率，降低閑置成本。

● 在您使用過程中，可以通過EMR控制臺界面可視化管理集群，包括服務啟停、配置管理、腳本下發(fā)等；并提供涵蓋集群、節(jié)點、服務累計1000+豐富監(jiān)控指標，支持多渠道配置告警；EMR也提供了Yarn作業(yè)查詢、Impala查詢分析、HDFS文件存儲分析等高階洞察功能，幫助您顯著提升大數(shù)據(jù)集群及業(yè)務運維效率。

二、 EMR與自建Hadoop對比優(yōu)勢

相比使用開源Hadoop發(fā)行版本自建大數(shù)據(jù)平臺，騰訊云EMR有以下主要優(yōu)勢：

1） 集群輕松構(gòu)建、運維管理功能豐富易用，便于使用及維護

i. 基于開源Hadoop發(fā)行商軟件構(gòu)建大數(shù)據(jù)平臺周期長，技術(shù)復雜度高，配套開發(fā)、運維、監(jiān)控等工具不完善，且無法得到有效技術(shù)支持，需投入較大人力成本進行支撐及維護。

ii.騰訊云EMR可一鍵快速構(gòu)建集群，發(fā)行版經(jīng)過充分兼容性測試驗證；控制臺提供豐富運維、監(jiān)控工具開箱即用，大幅降低使用及運維成本；除此之外騰訊提供的專業(yè)技術(shù)支持，也可以幫助客戶快速定位并解決問題。

2） 計算資源按需彈性使用，數(shù)據(jù)可分層存儲，資源利用率高

i. 自建大數(shù)據(jù)平臺在服務器資源上一般需提前預估，并且針對業(yè)務峰值做一定的的預留，導致資源利用率低，面臨計算需求的潮汐變化應對也非常不靈活。

ii. 騰訊云EMR支持靈活的彈性伸縮，資源按需使用，分鐘級即可完成擴縮，并且可以根據(jù)業(yè)務變化的負載或者時間周期進行計算資源自動伸縮。初次之外，您的大數(shù)據(jù)服務也可以部署在容器服務上；存儲方面也支持存算分離架構(gòu)，可以對數(shù)據(jù)分層存儲，為客戶大幅降低存算資源成本。

3) 開源組件持續(xù)加固優(yōu)化，穩(wěn)定性及性能更有

i. 自建大數(shù)據(jù)平臺一般采用開源社區(qū)版本組件，兼容性問題、組件缺陷需自行處理。性能也需自行優(yōu)化，如需使用社區(qū)新版本組件或前沿技術(shù)棧搭建及測試成本高。

ii. 騰訊云EMR結(jié)合內(nèi)部大規(guī)模實踐經(jīng)驗，核心組件如 Hadoop、Hbase 等引入了天穹Oteam 版本，兼容開源并提供有效的穩(wěn)定性加固。除此之外，新興技術(shù)棧提供豐富優(yōu)勢特性，如 Iceberg 支持 Z-Order 優(yōu)化可提升場景化性能10倍以上。在云產(chǎn)品敏捷迭代下，用戶也可以便捷的基于社區(qū)最新穩(wěn)定版組件構(gòu)建集群，輕松使用 StarRocks、Iceberg 等新興實時湖倉技術(shù)。

4)全棧安全防護策略，云上環(huán)境及數(shù)據(jù)更安全

i. 自建大數(shù)據(jù)平臺從底層到服務層安全能力需自行構(gòu)建，復雜度高，覆蓋不完整，配套審計能力不完善，存在較多隱患及風險。

ii. 騰訊云 EMR 提供從硬件、網(wǎng)絡(luò)、操作系統(tǒng)、大數(shù)據(jù)服務全棧易用的安全防護能力。提供 CVM 主機安全防護，異常告警；支持云硬盤加密，對象存儲 COS 加密；網(wǎng)絡(luò)層面支持 VPC 網(wǎng)絡(luò)隔離管理，網(wǎng)絡(luò)安全組設(shè)置；集群支持基于 Kerberos+LDAP 安全架構(gòu)，身份認證確保集群訪問安全，并提供基于 Ranger 的多種策略的數(shù)據(jù)權(quán)限管理。

5)無縫對接云生態(tài)服務，快速構(gòu)建完整配套能力

i. 自建大數(shù)據(jù)平臺如數(shù)據(jù)開發(fā)工具等配套能力需自行構(gòu)建，成本高、周期長。

ii. 騰訊云 EMR 可輕松與 Wedata 數(shù)據(jù)開發(fā)平臺、BI 商業(yè)智能分析產(chǎn)品無縫對接，幫助客戶低門檻、快速構(gòu)建數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)可視化等服務。除此之外，EMR還支持云監(jiān)控、云審計等周邊服務，助力客戶快速構(gòu)建云上企業(yè)智能生態(tài)。

三、 自建遷移上云最佳實踐案例

案例一：某教育頭部客戶

【客戶背景】

該客戶是中國國內(nèi)在線教育引領(lǐng)者，一直致力于用科技手段助力教育普惠，運用人工智能、大數(shù)據(jù)等前沿技術(shù)，為學生、老師、家長提供更高效的學習、教育解決方案，智能硬件產(chǎn)品等。

【核心痛點】

客戶在使用騰訊云EMR服務前，主要采取CDH自建方式維護自身開源大數(shù)據(jù)集群。但隨著業(yè)務爆發(fā)式增長，數(shù)據(jù)量暴漲，為了應對不同業(yè)務場景時效性需求，該客戶曾嘗試采用眾多技術(shù)方案并且不斷擴容離線集群的規(guī)模，還是無法完全滿足業(yè)務需求，基于CDH自建hive體系的核心報表無法按時產(chǎn)出，嚴重影響數(shù)據(jù)分析工作及企業(yè)經(jīng)營決策。

【解決方案】

針對客戶海量數(shù)據(jù)離線數(shù)倉時效性以及上云后安全性等核心訴求，騰訊云彈性 MapReduce 提出兩種解決方案：

湖倉一體方案：推動數(shù)據(jù)湖iceberg技術(shù)落地，于騰訊云EMR的Iceberg獨有能力，幫助客戶將基于hive的PB級報表體系遷移至iceberg數(shù)據(jù)湖，通過Z-Order優(yōu)化后報表計算性能顯著提升，改善核心報表效率，同時綜合降低成本；

權(quán)限統(tǒng)一方案：主導存算分離權(quán)限統(tǒng)一方案，基于產(chǎn)品統(tǒng)一權(quán)限管控能力，增加擴展能力，該方案中將對象存儲（cos）作為權(quán)限管控的一種資源，統(tǒng)一權(quán)限管理，解決權(quán)限管控不統(tǒng)一問題；

【遷移效果】

場景化查詢效率提升10倍：通過騰訊云彈性 MapReduce 的Iceberg特性優(yōu)化、緩存加速、存算分離智能分層等應用，提高場景化查詢了近10倍性能。另外通過騰訊云EMR提供的Iceberg外部Matastore功能，降低了客戶元數(shù)據(jù)改造成本，幾乎零改造實現(xiàn)Iceberg元數(shù)據(jù)接入。

固定算力降低5000核：通過EMR計算節(jié)點彈性擴縮、容器資源在離線調(diào)度等云原生能力，避免閑置資源浪費、降低綜合成本。

案例二：某行業(yè)工具頭部客戶

【客戶背景】

中國領(lǐng)軍的企業(yè)云端商業(yè)及營銷解決方案提供商，同時也是中國領(lǐng)軍的精準營銷服務提供商。為更好服務客戶自身BI、搜索、營銷、推薦等業(yè)務場景，需要一套穩(wěn)定、高性能的大數(shù)據(jù)解決方案。

【核心痛點】

由于客戶業(yè)務發(fā)展迅猛、數(shù)據(jù)量劇增，原來基于黑石物理機+CDH自建的大數(shù)據(jù)平臺逐步出現(xiàn)了黑石節(jié)點擴容周期長、CDH組件版本老、不豐富、無法覆蓋數(shù)據(jù)湖等新增業(yè)務場景的弊端。同時由于CDH集群組件較多、平均bug修復周期較長，客戶不得不投入較多人力進行運維。 綜合而言為支持業(yè)務的快速發(fā)展，客戶大數(shù)據(jù)團隊不得不在自建集群的擴容、新業(yè)務場景支持、平臺穩(wěn)定性與運維等方面投入大量成本與人力。

【解決方案】

騰訊云EMR提供了一鍵構(gòu)建集群能力，滿足業(yè)務高峰時段分鐘級別彈性擴縮容，對集群計算和存儲組件的深度集成，滿足客戶多租戶認真和表級別、字段級別顆粒度授權(quán)能力。

自動擴縮容能力能夠基于時間和負載兩種策略彈性伸縮計算節(jié)點，滿足客戶在離線和即席分析場景在不同時間段的資源需求。登錄鑒權(quán)、索引在文檔字段級別的權(quán)限管理能力，為集群安全訪問提供了穩(wěn)固的保障。集成對象存儲COS功能讓備份變得簡單。多可用區(qū)能力為集群提供了在城市電力或網(wǎng)絡(luò)異常情況下的容災保障。

【遷移效果】

通過引入騰訊云EMR，客戶集群的交付效率提升10倍。

集群分鐘級彈性能力幫助客戶輕松應對活動期間流量劇增的壓力。

騰訊云EMR安全體系讓業(yè)務的安全性、高可用性獲得了更有利的保障。

四、 遷移方案與購買優(yōu)惠

在決策上云之后，會將數(shù)據(jù)和分析任務遷移到騰訊云EMR，我們?yōu)槟峁㊣DC自建遷移EMR方案實踐與定制遷移 EMR 方案。

● 遷移方案實踐：

IDC自建遷移EMR方案.pdf

● 定制遷移方案：

申請定制遷移 EMR 方案

目前購買 EMR 可享受 3年55折優(yōu)惠。點擊 立即購買進行選購。

如需了解更多優(yōu)惠折扣活動，請?zhí)顚?申請定制遷移 EMR 方案,我們將及時與您聯(lián)系。

歡迎對 彈性 MapReduce 感興趣的朋友加入騰訊云大數(shù)據(jù)EMR溝通交流群。

關(guān)鍵詞：