5月13日,在北京舉辦的“騰訊云原生智能數(shù)據(jù)湖”發(fā)布會(huì)上,騰訊云首次對(duì)外展示完整云端數(shù)據(jù)湖產(chǎn)品圖譜,并推出兩款“開(kāi)箱即用”數(shù)據(jù)湖產(chǎn)品,數(shù)據(jù)湖計(jì)算服務(wù)DLC和數(shù)據(jù)湖構(gòu)建DLF。
騰訊云大數(shù)據(jù)產(chǎn)品中心副總經(jīng)理雷小平表示:“伴隨著企業(yè)對(duì)于數(shù)據(jù)洞察敏捷度要求的不斷提升,騰訊云正在不斷探索更智能、更靈活、更高性?xún)r(jià)比的大數(shù)據(jù)工具。我們看到,數(shù)據(jù)湖架構(gòu)已經(jīng)成為在數(shù)據(jù)智能時(shí)代的新趨勢(shì),而云是數(shù)據(jù)湖最佳的實(shí)踐場(chǎng)所。騰訊云原生智能數(shù)據(jù)湖將助力各行各業(yè)解決多元化數(shù)據(jù)分析場(chǎng)景的新需求,更好地激發(fā)大數(shù)據(jù)在企業(yè)數(shù)字化升級(jí)過(guò)程中的價(jià)值?!?/p>
六大層級(jí)產(chǎn)品構(gòu)筑全方位數(shù)據(jù)湖服務(wù)
云原生數(shù)據(jù)湖可以賦予客戶(hù)更高的數(shù)據(jù)敏捷度、更優(yōu)的數(shù)據(jù)存儲(chǔ)分析成本,以及更極致的資源彈性能力,在打破數(shù)據(jù)孤島、實(shí)現(xiàn)多元化數(shù)據(jù)分析等方面具有獨(dú)特優(yōu)勢(shì)。
騰訊云此次展示的完整云原生數(shù)據(jù)湖產(chǎn)品矩陣包括數(shù)據(jù)湖存儲(chǔ)、數(shù)據(jù)湖算力調(diào)度、數(shù)據(jù)湖大數(shù)據(jù)分析、數(shù)據(jù)湖AI能力、以及數(shù)據(jù)湖應(yīng)用和云上基礎(chǔ)服務(wù)六個(gè)層面,提供一體化的全方位服務(wù)。
騰訊云原生智能數(shù)據(jù)湖產(chǎn)品圖譜
數(shù)據(jù)湖存儲(chǔ)以對(duì)象存儲(chǔ)COS服務(wù)為核心,理論上可以存儲(chǔ)任意規(guī)模的異構(gòu)數(shù)據(jù),具有高可靠性和高持久性,同時(shí)也支持將其他云端數(shù)據(jù)設(shè)施作為數(shù)據(jù)湖的存儲(chǔ)服務(wù)。在數(shù)據(jù)湖算力調(diào)度方面,基于騰訊云彈性容器服務(wù)EKS,開(kāi)放的容器化的分析架構(gòu)讓數(shù)據(jù)分析功能可組合性更強(qiáng),擴(kuò)展性更強(qiáng),資源利用率更高。
在數(shù)據(jù)分析層,騰訊云數(shù)據(jù)湖既提供半托管的泛Hadoop服務(wù),滿(mǎn)足用戶(hù)自定義需求,也提供全托管的數(shù)據(jù)服務(wù),便于用戶(hù)獲取海量數(shù)據(jù)的洞察力。此外,用戶(hù)還可利用騰訊云提供的數(shù)據(jù)協(xié)作工具對(duì)計(jì)算服務(wù)進(jìn)行編排和調(diào)用,大幅度提升企業(yè)數(shù)據(jù)的便捷性和敏捷度。
值得一提的是,針對(duì)越來(lái)越多的音視圖文數(shù)據(jù),騰訊云數(shù)據(jù)湖包含豐富的AI服務(wù), 為圖像處理、音頻處理、自然語(yǔ)言處理、視頻處理等提供有力的數(shù)據(jù)支撐。在數(shù)據(jù)應(yīng)用服務(wù)中,騰訊云推出基于數(shù)據(jù)湖的數(shù)據(jù)應(yīng)用服務(wù),比如企業(yè)畫(huà)像、聯(lián)邦計(jì)算、商業(yè)智能分析等。
最后,云原生的基礎(chǔ)服務(wù)為騰訊云數(shù)據(jù)湖體系提供了有力的保障。
雷小平表示,這六大層面基本涵蓋了客戶(hù)的諸多需求,此外,騰訊云還在不斷的研發(fā)更多的數(shù)據(jù)湖產(chǎn)品,以完善云原生智能數(shù)據(jù)湖矩陣。
兩款“開(kāi)箱即用”數(shù)據(jù)湖新品 消除數(shù)據(jù)孤島
為了幫助客戶(hù)快速構(gòu)建和分析數(shù)據(jù)湖,騰訊云此次正式推出兩款開(kāi)箱即用的數(shù)據(jù)湖產(chǎn)品:數(shù)據(jù)湖計(jì)算服務(wù)(Data Lake Compute,簡(jiǎn)稱(chēng)DLC)和數(shù)據(jù)湖構(gòu)建(Data Lake Formation ,簡(jiǎn)稱(chēng)DLF)。
數(shù)據(jù)湖計(jì)算服務(wù)作為敏捷高效的的數(shù)據(jù)湖分析引擎,采用無(wú)服務(wù)器架構(gòu)設(shè)計(jì),用戶(hù)無(wú)需關(guān)注底層架構(gòu)或維護(hù)計(jì)算資源,使用標(biāo)準(zhǔn) SQL 即可完成對(duì)象存儲(chǔ)服務(wù)及其它云端數(shù)據(jù)設(shè)施的聯(lián)合分析。此外,用戶(hù)無(wú)需進(jìn)行傳統(tǒng)的數(shù)據(jù)分層建模,大幅縮減了海量數(shù)據(jù)分析的準(zhǔn)備時(shí)間,有效提升了企業(yè)數(shù)據(jù)敏捷度。
數(shù)據(jù)湖構(gòu)建則能幫助用戶(hù)快速高效的構(gòu)建企業(yè)數(shù)據(jù)湖技術(shù)架構(gòu),包括統(tǒng)一元數(shù)據(jù)管理、多源數(shù)據(jù)入湖、任務(wù)編排、權(quán)限管理等數(shù)據(jù)湖構(gòu)建工具。同時(shí),借助數(shù)據(jù)湖構(gòu)建,用戶(hù)可以極大提高數(shù)據(jù)入湖準(zhǔn)備的效率,方便地管理散落各處的孤島數(shù)據(jù)。
雷小平表示,基于這兩款數(shù)據(jù)湖產(chǎn)品,相比于本地自建大數(shù)據(jù)集群,數(shù)據(jù)湖構(gòu)建時(shí)間減少了60%,數(shù)據(jù)分析計(jì)算性能提升35.5%,云端數(shù)據(jù)湖架構(gòu)投入使用后可使存算數(shù)據(jù)量增長(zhǎng)75%,配合其他大數(shù)據(jù)服務(wù),在業(yè)務(wù)峰值期可以節(jié)約30%的硬件資源,以及一半的大數(shù)據(jù)工程師和運(yùn)維工程師。
三大趨勢(shì)催生國(guó)內(nèi)首個(gè)云原生智能數(shù)據(jù)湖
騰訊云此次推出云原生智能數(shù)據(jù)湖的背后,是數(shù)智時(shí)代的數(shù)據(jù)分析新趨勢(shì),包括以云計(jì)算為中心、以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)及可組合式數(shù)據(jù)架構(gòu)。
預(yù)計(jì)到2021年低,云將承載80%的應(yīng)用開(kāi)發(fā)和部署。與此同時(shí),數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的浪潮席卷了各行各業(yè),據(jù)知名咨詢(xún)機(jī)構(gòu)統(tǒng)計(jì),到2025年全球數(shù)據(jù)總量將超過(guò)160ZB,全球數(shù)據(jù)總量的近 20% 將成為影響日常生活的關(guān)鍵數(shù)據(jù),近 10% 將變?yōu)槌P(guān)鍵數(shù)據(jù)。
為此,企業(yè)迫切需要可以利用多個(gè)數(shù)據(jù)源、使用不同的大數(shù)據(jù)分析技術(shù),快速構(gòu)建靈活友好的數(shù)據(jù)架構(gòu),解決多元化分析場(chǎng)景的數(shù)據(jù)需求?!?/p>
“面對(duì)這些變化,騰訊云原生智能數(shù)據(jù)湖應(yīng)勢(shì)而生。”雷小平認(rèn)為:“云原生智能數(shù)據(jù)湖,能夠很好的擴(kuò)展計(jì)算和存儲(chǔ)資源,同時(shí)能極大地降低運(yùn)維管理難度,實(shí)現(xiàn)業(yè)務(wù)靈活部署。
騰訊云云原生智能數(shù)據(jù)湖具備更高的數(shù)據(jù)敏捷度、更優(yōu)的數(shù)據(jù)性?xún)r(jià)比、更強(qiáng)的數(shù)據(jù)智能化能力,可以更好地激發(fā)數(shù)據(jù)業(yè)務(wù)價(jià)值。同時(shí),它天然具備云服務(wù)的眾多優(yōu)勢(shì),包括多租戶(hù)的權(quán)限管控、存儲(chǔ)計(jì)算資源彈性伸縮、底層資源免運(yùn)維、云端服務(wù)高可用高可靠、僅需按照使用量付費(fèi)等。
在應(yīng)用方面,騰訊云正在積極推動(dòng)數(shù)據(jù)湖在政務(wù)、工業(yè)、零售等領(lǐng)域的大規(guī)模落地。騰訊云數(shù)據(jù)湖體系已服務(wù)眾多內(nèi)外部客戶(hù),其整體算力彈性資源池已達(dá)500萬(wàn)核,存儲(chǔ)數(shù)據(jù)超過(guò)100PB,每日分析任務(wù)數(shù)達(dá)1500萬(wàn),每日實(shí)時(shí)計(jì)算次數(shù)超過(guò)萬(wàn)億,能支持上億維度的數(shù)據(jù)訓(xùn)練。
業(yè)內(nèi)人士認(rèn)為:“作為數(shù)智時(shí)代的新引擎,云原生智能數(shù)據(jù)湖能夠?yàn)橛脩?hù)帶來(lái)更多的可能性,挖掘更大的數(shù)據(jù)潛能。在新一輪的產(chǎn)業(yè)互聯(lián)網(wǎng)浪潮中,政企都需要掛上新引擎,實(shí)現(xiàn)更好的數(shù)智化轉(zhuǎn)型?!?/p>
- QQ:61149512