2019年1月,CDH背后的公司Cloudera宣布與Hortonworks(一家圍繞著大數(shù)據(jù)平臺(tái)去做發(fā)行版的公司)合并,形成了新的Cloudera公司。
【資料圖】
兩家公司合并之后,迅速對(duì)產(chǎn)品進(jìn)行了整合推出了新一代產(chǎn)品——CDP,同時(shí)也宣布在2021年底結(jié)束對(duì)CDH6的服務(wù)支持。
這給國(guó)內(nèi)企業(yè)敲醒警鐘,要將以往使用的CDH大數(shù)據(jù)平臺(tái)進(jìn)行全面的遷移。
而時(shí)間拉到2021年12月29日,距離元旦僅三天,央行發(fā)布的一紙公文——《金融大數(shù)據(jù)平臺(tái)總體技術(shù)要求》,在金融圈里炸開(kāi)了鍋。
以前的文件可能是從戰(zhàn)略層面對(duì)金融機(jī)構(gòu)的數(shù)據(jù)安全要求,但這一份文件十分細(xì)化,直接從大數(shù)據(jù)平臺(tái)的設(shè)計(jì)、開(kāi)發(fā)、應(yīng)用等角度,為金融機(jī)構(gòu)的大數(shù)據(jù)平臺(tái)建設(shè)提供了清晰指導(dǎo)。
這份文件傳遞的信號(hào)是,金融機(jī)構(gòu)已經(jīng)沒(méi)有時(shí)間再繼續(xù)猶豫、觀(guān)望,大數(shù)據(jù)平臺(tái)自主可控建設(shè)勢(shì)在必行。
在4個(gè)月后,國(guó)內(nèi)某大型基金公司做出重大決策,決心對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行一場(chǎng)大手術(shù),將在CDH大數(shù)據(jù)平臺(tái)上的數(shù)據(jù)進(jìn)行平滑遷移到騰訊云TBDS大數(shù)據(jù)平臺(tái)。
據(jù)騰訊云高級(jí)大數(shù)據(jù)架構(gòu)師楊文龍介紹,他們從4月開(kāi)始與基金公司接洽、商討,直到8月才開(kāi)始正式進(jìn)駐開(kāi)干,而此時(shí),留給他們完成CDH大數(shù)據(jù)平臺(tái)的平滑遷移時(shí)間僅剩下半年。
這可能是當(dāng)下許多金融機(jī)構(gòu)進(jìn)行系統(tǒng)遷移的真實(shí)寫(xiě)照:時(shí)間緊、任務(wù)重、壓力大。
為解決“信息系統(tǒng)遷移的難點(diǎn)及解法”,3月25日,騰訊云舉辦了2023年首期 Techo Day (騰訊技術(shù)開(kāi)放日),這一期,騰訊云與業(yè)內(nèi)專(zhuān)家以“金融核心系統(tǒng)”為典型場(chǎng)景,分享如何更好地切換、平移、使用國(guó)產(chǎn)化軟件。
在活動(dòng)上,專(zhuān)家們?cè)S多具體、鮮活案例分享,讓我們有機(jī)會(huì)更深入了解金融機(jī)構(gòu)變革的細(xì)枝末節(jié),以及他們的真實(shí)需求。
金融信息系統(tǒng) “換心臟”,迫在眉睫
在人體手術(shù)中,心臟移植手術(shù)難度往往最高的一類(lèi)手術(shù)。第一,病人不能沒(méi)有心臟,手術(shù)移植速度必須要快;第二,移植后,病人還可能存在移植排斥反應(yīng)。沒(méi)有到萬(wàn)不得已,一般都不會(huì)做如此冒險(xiǎn)的手術(shù)。
放在金融機(jī)構(gòu)也是如此,關(guān)系到核心業(yè)務(wù)的系統(tǒng)一般不會(huì)輕易更換,一來(lái)是工程量大成本高,二來(lái)是擔(dān)憂(yōu)新系統(tǒng)的穩(wěn)定性、可靠性。
也因如此,過(guò)去許多人都在喊“去IOE”,但身體依舊誠(chéng)實(shí),繼續(xù)采用老三樣。
不過(guò)這幾年外部形勢(shì)嚴(yán)峻。從2019年至今,已有超過(guò)600家中國(guó)企業(yè)、機(jī)構(gòu)等被列入美國(guó)“實(shí)體清單”,相關(guān)商品和技術(shù)的制裁管控,已經(jīng)成為導(dǎo)致企業(yè)生產(chǎn)停滯,威脅生存安全的重大隱患。
這讓越來(lái)越多的企業(yè)意識(shí)到,只有將軟件的自主可控掌握在自己手中,才能保障企業(yè)的命脈。
而從政策層面來(lái)看,這幾年監(jiān)管頂層設(shè)計(jì)反復(fù)強(qiáng)調(diào)推動(dòng)金融機(jī)構(gòu)加速信息系統(tǒng)的國(guó)產(chǎn)替代。
從2014年中國(guó)銀監(jiān)會(huì)與國(guó)家發(fā)改委、工信部及科技部發(fā)布《關(guān)于應(yīng)用安全可控信息技術(shù)加強(qiáng)銀行業(yè)網(wǎng)絡(luò)安全和信息化建設(shè)的指導(dǎo)意見(jiàn)》,再到2022年1月中國(guó)人民銀行印發(fā)的《金融科技發(fā)展規(guī)劃(2022-2025年)》,守住金融數(shù)據(jù)安全線(xiàn)的緊迫性不斷升級(jí)。
在這種背景之下,2020年,國(guó)家宣布了第一批國(guó)產(chǎn)化試點(diǎn)金融機(jī)構(gòu),包括主要的國(guó)有大行、頭部券商和交易所等,要求國(guó)產(chǎn)基礎(chǔ)軟硬件采購(gòu)額占其IT外采的5%-8%。
2021年,國(guó)產(chǎn)化進(jìn)程進(jìn)一步推進(jìn),百余家金融機(jī)構(gòu)被納入到國(guó)產(chǎn)化推廣計(jì)劃中,并要求其國(guó)產(chǎn)基礎(chǔ)軟硬件采購(gòu)額占其IT外采提升至10%-15%。
再到2022年,國(guó)產(chǎn)化推廣計(jì)劃擴(kuò)容至全行業(yè)5000余家金融機(jī)構(gòu),進(jìn)入全面推廣階段,國(guó)產(chǎn)基礎(chǔ)軟硬件采購(gòu)額在IT外采占比有望提高至15%-25%。
這對(duì)于國(guó)產(chǎn)軟硬件廠(chǎng)商來(lái)說(shuō),是一次全新的機(jī)會(huì)。根據(jù)天風(fēng)證券估算,預(yù)計(jì)到2025年,金融國(guó)產(chǎn)替代的發(fā)展規(guī)模將突破3000億元。不過(guò)各類(lèi)廠(chǎng)商要想從這個(gè)市場(chǎng)中分一杯羹,也沒(méi)有想象中這邊簡(jiǎn)單。
從騰訊的案例分享中,我們看到了這些
思考一:遷移能否平穩(wěn)、以及帶來(lái)業(yè)務(wù)性能的提升?
對(duì)于機(jī)構(gòu)來(lái)說(shuō),他們所關(guān)心的第一個(gè)問(wèn)題是:別出岔子,保證系統(tǒng)平穩(wěn)遷移。
上文提到2022年8月起,騰訊云就在幫助某大型基金公司進(jìn)行CDH大數(shù)據(jù)平臺(tái)遷移。為在給定時(shí)間內(nèi)幫助客戶(hù)平滑遷移,他們將整個(gè)項(xiàng)目拆解成為了三個(gè)重要階段:
第一階段,業(yè)務(wù)驗(yàn)證期,先讓新平臺(tái)完成歷史數(shù)據(jù)遷移、數(shù)據(jù)接入、調(diào)度任務(wù)配置、業(yè)務(wù)程序部署等任務(wù),同時(shí)老的CDH平臺(tái)持續(xù)提供業(yè)務(wù)服務(wù),進(jìn)行雙跑觀(guān)察,以備業(yè)務(wù)切換不成功及時(shí)換回到老平臺(tái)。
第二階段,業(yè)務(wù)切換期,在驗(yàn)證新平臺(tái)后,將業(yè)務(wù)系統(tǒng)全面切換到新平臺(tái),據(jù)了解該項(xiàng)目最先遷移的是營(yíng)銷(xiāo)中臺(tái)這一業(yè)務(wù)場(chǎng)景數(shù)據(jù)。
第三階段:業(yè)務(wù)觀(guān)察期,檢查是否存在應(yīng)用程序未遷至新平臺(tái),并持續(xù)觀(guān)察驗(yàn)證新平臺(tái)運(yùn)轉(zhuǎn)情況,只有確保新系統(tǒng)正常運(yùn)轉(zhuǎn),才算是正式遷移完成。
“整個(gè)遷移過(guò)程壓力還是挺大的?!睏钗凝垖?duì)雷峰網(wǎng)表示,一方面時(shí)間很緊迫,第二任務(wù)也很重。為了保質(zhì)保量,針對(duì)該項(xiàng)目騰訊成立了一個(gè)有20多名成員的專(zhuān)項(xiàng)小組,開(kāi)啟遷移工作。
據(jù)了解,到今年,項(xiàng)目一期的任務(wù)已經(jīng)完成,營(yíng)銷(xiāo)中臺(tái)、TA系統(tǒng)平滑遷移。
不過(guò),金融機(jī)構(gòu)所期待不僅只是系統(tǒng)平滑遷移,還有新系統(tǒng)是否能在性能上有所提升。
楊文龍?zhí)岬娇蛻?hù)提需求時(shí),明確要求希望遷移至騰訊云TBDS大數(shù)據(jù)平臺(tái)后,計(jì)算效率能顯著提升。
原來(lái)CDH大數(shù)據(jù)平臺(tái),只支持T+1的計(jì)算分析能力,也就是說(shuō)平臺(tái)會(huì)在12點(diǎn)之后收集好前一天的數(shù)據(jù),然后開(kāi)足算力對(duì)這些數(shù)據(jù)進(jìn)行分析,以便運(yùn)營(yíng)同事第二天上班能仔細(xì)琢磨這個(gè)仗怎么打。
但近幾年,互聯(lián)網(wǎng)金融發(fā)展迅猛,購(gòu)買(mǎi)基金的客戶(hù)人數(shù)開(kāi)始成倍增加,機(jī)構(gòu)需要快速結(jié)合用戶(hù)畫(huà)像對(duì)應(yīng)調(diào)整推銷(xiāo)策略、營(yíng)銷(xiāo)策略等,但有時(shí)候用戶(hù)十分活躍,產(chǎn)生巨量數(shù)據(jù),前一天的數(shù)據(jù)分析結(jié)果可能要等到早上9點(diǎn)、10點(diǎn),這對(duì)運(yùn)營(yíng)同事來(lái)說(shuō)比較晚了。
據(jù)了解,在遷移騰訊云TBDS大數(shù)據(jù)平臺(tái)后,數(shù)據(jù)分析時(shí)長(zhǎng)需要從原來(lái)6小時(shí)縮短到3小時(shí)內(nèi),營(yíng)銷(xiāo)同事在上班前就可拿到運(yùn)營(yíng)數(shù)據(jù)表,極大提升了營(yíng)銷(xiāo)同事工作效率。
同時(shí),新一代TBDS融合了更高版本的大數(shù)據(jù)生態(tài)組件,除了解決數(shù)據(jù)遷移難等問(wèn)題,還具備云原生能力。在數(shù)據(jù)存儲(chǔ)、計(jì)算資源上,實(shí)現(xiàn)徹底解藕和靈活擴(kuò)縮容,解決了以往存算一體架構(gòu)下的調(diào)度難題,幫助平臺(tái)調(diào)度提效10倍以上。
未來(lái)在降本增效的潮流下,TBDS也朝著統(tǒng)一存儲(chǔ)、統(tǒng)一元數(shù)據(jù)管理、統(tǒng)一開(kāi)發(fā)工具、統(tǒng)一運(yùn)維管控的方向演進(jìn),降低客戶(hù)在存儲(chǔ)和開(kāi)發(fā)上的資源成本,使用遷移后的TBDS大數(shù)據(jù)平臺(tái),預(yù)計(jì)可以為客戶(hù)帶來(lái)20%以上的成本優(yōu)化和資源利用率提升。
思考二:遷移能否做到盡可能的開(kāi)放兼容?
每一次系統(tǒng)的替換背后,除有許多遷移成本之外,還需要考慮新系統(tǒng)變動(dòng)帶來(lái)的人員習(xí)慣適應(yīng)等等問(wèn)題。
核心系統(tǒng)不比其他的系統(tǒng),現(xiàn)階段如果猛然給金融機(jī)構(gòu)用一個(gè)全新的系統(tǒng),對(duì)于他們來(lái)說(shuō)是很難接受的。
就像是一個(gè)長(zhǎng)期使用安卓手機(jī)的人,突然換了一個(gè)蘋(píng)果手機(jī),由于操作系統(tǒng)的不同,短時(shí)間內(nèi)很難適應(yīng)。
所以對(duì)于騰訊云而言,他們最初思考的問(wèn)題并不是遷移,而是如何尊重客戶(hù)的原有使用習(xí)慣,積極去彌合系統(tǒng)間的差異,適配客戶(hù)既存的工具鏈。
"我們的目標(biāo)就是讓客戶(hù)體驗(yàn)到騰訊云在專(zhuān)有云場(chǎng)景落地時(shí)候的無(wú)侵入感,帶給客戶(hù)絲滑體驗(yàn)。"騰訊專(zhuān)有云應(yīng)用和系統(tǒng)穩(wěn)定性負(fù)責(zé)人張曉宇對(duì)雷峰網(wǎng)(公眾號(hào):雷峰網(wǎng))說(shuō)道。
2020年,騰訊云與國(guó)有大行展開(kāi)專(zhuān)有云建設(shè)時(shí),前幾個(gè)月的時(shí)間,他們都在專(zhuān)注于不同系統(tǒng)之間的融合問(wèn)題。
讓張曉宇印象很深刻的一個(gè)案例是:當(dāng)時(shí)客戶(hù)內(nèi)部有多個(gè)云平臺(tái),都是使用了packer工具統(tǒng)一管理鏡像,而實(shí)際上騰訊專(zhuān)有云(TCE)有其他通用的解決方案。
"為了讓客戶(hù)在使用時(shí)TCE時(shí)能夠復(fù)用原有的工具鏈,我們用了極短時(shí)間實(shí)現(xiàn)了packer的tecent-plugin release版本。這項(xiàng)工作幫助該銀行原有系統(tǒng)實(shí)現(xiàn)了對(duì)TCE的集成,感受不到新平臺(tái)引入帶來(lái)的使用上的割裂。"
思考三:遷移如何確保系統(tǒng)長(zhǎng)久保持穩(wěn)定?
這幾年宕機(jī)事故常有發(fā)生,原因更是五花八門(mén),谷歌云曾因自動(dòng)化失效導(dǎo)致宕機(jī)、AWS 曾因數(shù)據(jù)中心出現(xiàn)硬件問(wèn)題導(dǎo)致宕機(jī)、微軟 Azure愛(ài)爾蘭數(shù)據(jù)中心曾因高溫和打雷陷入宕機(jī).......
這些問(wèn)題一旦出現(xiàn),給企業(yè)帶來(lái)的損失和影響是巨大的,尤其是對(duì)于金融機(jī)構(gòu)而言,所以確保系統(tǒng)高可用性也是客戶(hù)在系統(tǒng)遷移過(guò)程中思考的重點(diǎn)。
高可用架構(gòu)是指系統(tǒng)或應(yīng)用程序在遇到單點(diǎn)故障時(shí),能夠快速自動(dòng)切換到備份系統(tǒng)或?qū)嵗?,從而保證系統(tǒng)的持續(xù)穩(wěn)定運(yùn)行。
衡量一個(gè)系統(tǒng)的高可用性,有兩個(gè)指標(biāo),第一是RPO,當(dāng)系統(tǒng)出現(xiàn)故障后,數(shù)據(jù)會(huì)不會(huì)有所丟失,以及丟失時(shí)間有多長(zhǎng);第二是RTO,即服務(wù)是否中斷,以及業(yè)務(wù)停止服務(wù)的時(shí)間是多長(zhǎng)。
一般而言,銀行都要求數(shù)據(jù)丟失為零,而服務(wù)中斷時(shí)間要控制在分鐘級(jí)別。
究竟如何確保銀行系統(tǒng)的安全穩(wěn)定,在這場(chǎng)分享會(huì)中,張曉宇重點(diǎn)分享了騰訊云的同城3AZ多活方案。
AZ則是Availability Zone的縮寫(xiě),指的是數(shù)據(jù)中心的可用區(qū)域。單AZ方案指的是系統(tǒng)或應(yīng)用程序只部署在一個(gè)可用區(qū)域中,當(dāng)該可用區(qū)域出現(xiàn)故障時(shí),整個(gè)系統(tǒng)將會(huì)宕機(jī)。類(lèi)比一座房子只有一扇門(mén),一旦門(mén)出現(xiàn)問(wèn)題,就會(huì)導(dǎo)致整個(gè)房子無(wú)法出入。
而3AZ方案指的是系統(tǒng)或應(yīng)用程序在三個(gè)可用區(qū)域中部署,當(dāng)其中一個(gè)可用區(qū)域出現(xiàn)故障時(shí),系統(tǒng)可以快速自動(dòng)切換到另一個(gè)可用區(qū)域。
類(lèi)比一座房子有三個(gè)出入口,即使其中一個(gè)出入口出現(xiàn)問(wèn)題,仍然可以使用其他兩個(gè)出入口,這就從而保證系統(tǒng)的持續(xù)穩(wěn)定運(yùn)行。
3AZ方案可以盡可能保證系統(tǒng)運(yùn)行的穩(wěn)定性,但落到具體現(xiàn)實(shí)情境中,3AZ方案所消耗的計(jì)算資源、網(wǎng)絡(luò)資源等,綜合起來(lái)看要比雙AZ高出30-40%,而且管理的難度也更大。
張曉宇也表示,每一種架構(gòu)應(yīng)用的背后,不僅要基于技術(shù),還有基于成本、運(yùn)維周邊的配套等等相關(guān)一系列因素進(jìn)行綜合考量。
騰訊云對(duì)此給出的方案是具體業(yè)務(wù)具體分析,關(guān)乎交易等核心業(yè)務(wù)則采用3AZ方案,而一些服務(wù)級(jí)別相對(duì)更低一些則會(huì)采用介于3AZ與雙AZ之間的方案。
放大視野,觀(guān)察全行業(yè),不可否認(rèn),從OA系統(tǒng)、到非核心業(yè)務(wù)系統(tǒng)、再到核心業(yè)務(wù)系統(tǒng),金融國(guó)產(chǎn)替代浪潮已經(jīng)到來(lái),而這帶來(lái)的不僅是金融業(yè)信息系統(tǒng)的一次解耦,也是整個(gè)行業(yè)利益重新分配的過(guò)程,對(duì)原本只能在外企底下?lián)屖车膰?guó)產(chǎn)軟硬件企業(yè),這將是一次全新的機(jī)會(huì)。
縮小視野,深入企業(yè)內(nèi)部,又會(huì)發(fā)現(xiàn),這場(chǎng)核心系統(tǒng)的變革之旅遠(yuǎn)遠(yuǎn)沒(méi)有想象中那般簡(jiǎn)單。時(shí)間緊迫下,如何保證系統(tǒng)平滑遷移?如何在穩(wěn)定性要求升級(jí)同時(shí),平衡好成本?這些都是諸多參與方需要繼續(xù)長(zhǎng)期探討的問(wèn)題。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
關(guān)鍵詞: