數(shù)據(jù)編織,大數(shù)據(jù)的新風(fēng)口?
怎么實(shí)現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”的夢(mèng)想?“數(shù)據(jù)編織”(Data Fabric)悄然登場(chǎng)。2018年“Data Fabric”首次出現(xiàn)在Gartner的十大數(shù)據(jù)與分析技術(shù)趨勢(shì)中,以后每年它都會(huì)出現(xiàn)在其中。10年前大數(shù)據(jù)概念在國(guó)外興起后,不到3年就被中國(guó)用戶(hù)廣泛接受,而今天大多數(shù)中國(guó)廠商則是按兵不動(dòng),這又是為何呢?從“數(shù)據(jù)經(jīng)緯”到“數(shù)據(jù)編織”Data Fabric的中文名字到底怎么翻譯,IBM公司與
2021-08-24 08:02:51
來(lái)源:中國(guó)電子報(bào)、電子信息產(chǎn)業(yè)網(wǎng) 李佳師??

怎么實(shí)現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”的夢(mèng)想?“數(shù)據(jù)編織”(Data Fabric)悄然登場(chǎng)。2018年“Data Fabric”首次出現(xiàn)在Gartner的十大數(shù)據(jù)與分析技術(shù)趨勢(shì)中,以后每年它都會(huì)出現(xiàn)在其中。10年前大數(shù)據(jù)概念在國(guó)外興起后,不到3年就被中國(guó)用戶(hù)廣泛接受,而今天大多數(shù)中國(guó)廠商則是按兵不動(dòng),這又是為何呢?

從“數(shù)據(jù)經(jīng)緯”到“數(shù)據(jù)編織”

Data Fabric的中文名字到底怎么翻譯,IBM公司與Gartner有了分歧。IBM大中華區(qū)科技事業(yè)部云計(jì)算與認(rèn)知軟件部數(shù)據(jù)與人工智能信息架構(gòu)產(chǎn)品總監(jiān)王積杰將其稱(chēng)為“數(shù)據(jù)經(jīng)緯”,而Gartner高級(jí)研究總監(jiān)孫鑫認(rèn)為“數(shù)據(jù)編織”更為合適,因?yàn)樗J(rèn)為數(shù)據(jù)編織更凸顯“動(dòng)態(tài)”。

在Data Fabric出來(lái)之前,數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)主要部署成靜態(tài)基礎(chǔ)設(shè)施,而在未來(lái)將需要采用更動(dòng)態(tài)的數(shù)據(jù)網(wǎng)格方法全面重新設(shè)計(jì)。

孫鑫在接受記者采訪時(shí)表示,Data Fabric不是一個(gè)產(chǎn)品而是一種設(shè)計(jì)理念,是利用AI、機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)的功能,訪問(wèn)數(shù)據(jù)或支持?jǐn)?shù)據(jù)動(dòng)態(tài)整合,以發(fā)現(xiàn)可用數(shù)據(jù)之間獨(dú)特的、與業(yè)務(wù)相關(guān)的關(guān)系。

而IBM對(duì)Data Fabric的看法,與Gartner專(zhuān)家提到的“動(dòng)態(tài)”“數(shù)據(jù)網(wǎng)格”和AI賦能并無(wú)沖突。IBM中國(guó)研發(fā)中心首席技術(shù)官趙軍偉解釋說(shuō):“經(jīng)緯作為名詞,本意為織物的直線與橫線,引申為連接萬(wàn)物的規(guī)律,作為地理概念,經(jīng)緯度可以定位地球上任何一個(gè)位置,而‘?dāng)?shù)據(jù)經(jīng)緯’則可以在紛繁復(fù)雜的企業(yè)數(shù)據(jù)目錄里定位任意一個(gè)數(shù)據(jù)源。經(jīng)緯用作動(dòng)詞,是規(guī)劃治理的意思,《周書(shū)·靜帝紀(jì)》中提到的‘經(jīng)天緯地’就是治理天下的意思?!?/span>

“我們可以把Data Fabric想象成一張?zhí)摂M的網(wǎng),這張網(wǎng)并不能理解為一種點(diǎn)對(duì)點(diǎn)的連接,而是一種虛擬的連接,每個(gè)節(jié)點(diǎn)都可以是不同的數(shù)據(jù)系統(tǒng),不同系統(tǒng)上的數(shù)據(jù)在網(wǎng)上都可以迅速地被定位和找到。Data Fabric的主要功能是把正確的數(shù)據(jù),在正確的時(shí)間里,給到正確的人。通過(guò)DataFabric,對(duì)的人可以從對(duì)的地點(diǎn),在對(duì)的時(shí)間里,獲取對(duì)的數(shù)據(jù)?!?王積杰對(duì)記者說(shuō)。

現(xiàn)在的數(shù)據(jù)連接的架構(gòu)設(shè)計(jì)還主要是“人找數(shù)據(jù)”,而Data Fabric設(shè)計(jì)核心是“數(shù)據(jù)找人”,在合適的時(shí)間、將合適的數(shù)據(jù)推送給需要的人。

為什么Data Fabric將會(huì)成為一種趨勢(shì),為什么越來(lái)越多的企業(yè)將在未來(lái)采用這樣的方式進(jìn)行部署?王積杰談及了數(shù)據(jù)利用結(jié)構(gòu)模式的變化。傳統(tǒng)IT時(shí)代,無(wú)論是早年的“數(shù)據(jù)倉(cāng)庫(kù)”還是近幾年的“數(shù)據(jù)湖”和“大數(shù)據(jù)”時(shí)代,其實(shí)數(shù)據(jù)利用都是集中式的架構(gòu),把數(shù)據(jù)收集到一起,讓企業(yè)的數(shù)據(jù)分析師、BI(商業(yè)智能)分析師對(duì)數(shù)據(jù)進(jìn)行分析。但在云計(jì)算時(shí)代,用戶(hù)業(yè)務(wù)部署在多云的環(huán)境下,要想將分布在不同云上的數(shù)據(jù)集中在一起成本很高,也很費(fèi)勁,于是采用去中心化、分布式的數(shù)據(jù)網(wǎng)絡(luò)架構(gòu)就成為了必然選擇。

Data Fabric可以同時(shí)給業(yè)務(wù)和技術(shù)團(tuán)隊(duì)帶來(lái)明確的價(jià)值,王積杰表示,從業(yè)務(wù)層面來(lái)看,由于企業(yè)能更容易地獲得高質(zhì)量的數(shù)據(jù),從而能更快和更精確地獲得企業(yè)數(shù)據(jù)洞察。從技術(shù)層面來(lái)說(shuō),由于數(shù)據(jù)復(fù)制的次數(shù)和數(shù)量較少,從而減少了數(shù)據(jù)集成的工作,方便維護(hù)數(shù)據(jù)質(zhì)量和標(biāo)準(zhǔn),也減少了硬件架構(gòu)和存儲(chǔ)的開(kāi)銷(xiāo)。由于減少了數(shù)據(jù)復(fù)制和大大優(yōu)化了數(shù)據(jù)流程,加快并簡(jiǎn)化了數(shù)據(jù)處理過(guò)程,從而通過(guò)實(shí)施自動(dòng)化的整體數(shù)據(jù)策略,減少了數(shù)據(jù)訪問(wèn)管理的工作。

Gartner認(rèn)為,隨著數(shù)據(jù)的日益復(fù)雜以及數(shù)字化業(yè)務(wù)的加速發(fā)展,Data Fabric已成為支持組裝式數(shù)據(jù)分析及其各種組件的基礎(chǔ)架構(gòu)。由于在技術(shù)設(shè)計(jì)上能夠使用/重復(fù)使用及組合不同的數(shù)據(jù)集成方式,Data Fabric可縮短30%的集成設(shè)計(jì)時(shí)間、30%的部署時(shí)間和70%的維護(hù)時(shí)間。IBM 7月發(fā)布的Cloud Pak for Data4.0的軟件組合增加了智能化的Data Fabric功能,其中AutoSQL(結(jié)構(gòu)化查詢(xún)語(yǔ)言),可以通過(guò)AI來(lái)自動(dòng)訪問(wèn)、整合和管理數(shù)據(jù),可以幫助客戶(hù)以8倍的速度、不到一半的成本,獲得分布式查詢(xún)的答案。

變“人找數(shù)據(jù)”為“數(shù)據(jù)找人”

要實(shí)現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”,Data Fabric究竟如何“編織”?

王積杰認(rèn)為,Data Fabric至少需要四個(gè)維度的能力。一是能夠在數(shù)據(jù)之間建立虛擬鏈接,簡(jiǎn)化數(shù)據(jù)訪問(wèn)的模式,從而減少數(shù)據(jù)復(fù)制的數(shù)量。二是需要建立一個(gè)企業(yè)數(shù)據(jù)目錄,并需要利用AI技術(shù),自動(dòng)化地實(shí)現(xiàn)基于語(yǔ)義和知識(shí)的分析,理解數(shù)據(jù)及其業(yè)務(wù)含義,并建立知識(shí)圖譜, 從而使數(shù)據(jù)目錄變得智能化和自動(dòng)化。能夠讓需要數(shù)據(jù)的用戶(hù),隨時(shí)了解到需要的數(shù)據(jù)在哪里、數(shù)據(jù)質(zhì)量如何等。三是建立自動(dòng)化數(shù)據(jù)平臺(tái),允許用戶(hù)通過(guò)自服務(wù)的方式,訪問(wèn)并獲取數(shù)據(jù)。四是通過(guò)提供整體的自動(dòng)化策略,確保數(shù)據(jù)安全,增加數(shù)據(jù)的隱私和權(quán)限保護(hù),并提高數(shù)據(jù)質(zhì)量。

數(shù)據(jù)編織是一種新的設(shè)計(jì)理念,它是數(shù)據(jù)管理、數(shù)據(jù)收集理念的變化,與數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖等技術(shù)并不是替代的關(guān)系,既可以運(yùn)用現(xiàn)有的數(shù)據(jù)中樞、數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)和技能,也可以在未來(lái)加入新的方法和工具。

孫鑫談到了實(shí)現(xiàn)Data Fabric的一些關(guān)鍵技術(shù),比如增強(qiáng)型數(shù)據(jù)目錄,要想實(shí)現(xiàn)數(shù)據(jù)找人,而不是人找數(shù)據(jù),需要增強(qiáng)的數(shù)據(jù)目錄,它要涵蓋用戶(hù)使用數(shù)據(jù)的頻度與機(jī)制,了解數(shù)據(jù)與業(yè)務(wù)的關(guān)系,還包括知識(shí)圖譜,通過(guò)知識(shí)圖譜找到數(shù)據(jù)與業(yè)務(wù)之間的關(guān)系,找到元數(shù)據(jù)利用的整合策略,也包括推薦引擎以及在數(shù)據(jù)準(zhǔn)備階段的低代碼等工具,低代碼工具的作用在于降低數(shù)據(jù)使用的門(mén)檻,加速數(shù)據(jù)產(chǎn)品化。

從Data Fabric推動(dòng)的難點(diǎn)來(lái)看,“一是理念層面的難題,中國(guó)的用戶(hù)還沒(méi)有意識(shí)到,數(shù)據(jù)利用和使用的方式已經(jīng)發(fā)生改變,傳統(tǒng)的集中收集再利用的方式已經(jīng)不能滿(mǎn)足需要。二是目前很多企業(yè)對(duì)于元數(shù)據(jù)不夠重視。三是從人的角度看,需要提升企業(yè)數(shù)據(jù)工程師對(duì)知識(shí)圖譜、圖語(yǔ)言、圖建模等數(shù)據(jù)工具的能力培養(yǎng)。四是數(shù)據(jù)編織的實(shí)現(xiàn)并不是找到一個(gè)廠商就能夠完成,它是一個(gè)旅程,需要分幾步走?!睂O鑫認(rèn)為,從用戶(hù)的角度看,率先采用Data Fabric的是金融電信行業(yè)以及數(shù)據(jù)應(yīng)用場(chǎng)景比較復(fù)雜的用戶(hù)。

在這一點(diǎn)上,王積杰表達(dá)了與孫鑫一致的觀點(diǎn)——這是一個(gè)方向,但并不能一蹴而就,用戶(hù)需要分步實(shí)施,關(guān)鍵是要意識(shí)到趨勢(shì),在后續(xù)的項(xiàng)目實(shí)施中,按照Data Fabric的理念來(lái)構(gòu)建。

國(guó)內(nèi)廠商為何按兵不動(dòng)?

盡管Gartner、Forrester等分析機(jī)構(gòu)在幾年前就提出Data Fabric是數(shù)據(jù)利用與分析領(lǐng)域的革命性變革,是未來(lái)方向,但記者聯(lián)系國(guó)內(nèi)大數(shù)據(jù)相關(guān)領(lǐng)域企業(yè)進(jìn)行采訪時(shí)發(fā)現(xiàn),對(duì)此了解或進(jìn)行布局的企業(yè)并不多,甚至找不到。

這與國(guó)內(nèi)大數(shù)據(jù)廠商的分布有關(guān)?!皣?guó)內(nèi)有很多做數(shù)據(jù)庫(kù)的企業(yè),也有很多做BI(商業(yè)智能)的企業(yè),但做數(shù)據(jù)整合的企業(yè)很少。而事實(shí)上,在國(guó)外做數(shù)據(jù)編織的往往是數(shù)據(jù)整合、數(shù)據(jù)虛擬化的廠商,這就很好理解為什么國(guó)內(nèi)的大數(shù)據(jù)廠商遲遲未入場(chǎng)Data Fabric,因?yàn)檫@類(lèi)企業(yè)就不多。” 孫鑫告訴記者說(shuō)。

從公開(kāi)信息看,目前IBM、Informatica和Telend等推出了針對(duì) Data Fabric的解決方案,王積杰透露,IBM的Cloud Pak for Data針對(duì)上述Data Fabric必須具備的四個(gè)基本能力,都能給予很好的支持,而且在IBM內(nèi)部是以前所未有的力度在推動(dòng)。但除了IBM之外,那些傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)、云數(shù)據(jù)庫(kù)的大公司們目前并沒(méi)有積極入場(chǎng)。

大廠商們沒(méi)有入場(chǎng)很好理解,因?yàn)樵贒ata Fabric的理念下,往往需要采用點(diǎn)和邊的新方式去描述數(shù)據(jù)關(guān)系,需要知識(shí)圖譜、圖數(shù)據(jù)庫(kù)等,這往往是新銳公司在做的領(lǐng)域,而大廠商們往往有自己的數(shù)據(jù)整合工具,他們都希望在自己的平臺(tái)上進(jìn)行整合,但是這樣的局面一定會(huì)在之后的幾年發(fā)生變化。

“Data Fabric這個(gè)概念在國(guó)際上已經(jīng)熱起來(lái)了,但目前國(guó)內(nèi)的IT用戶(hù)知道的人還不多。10年前大數(shù)據(jù)的概念在國(guó)外興起后,不到三年就被中國(guó)用戶(hù)廣泛接受,未來(lái)這個(gè) Data Fabric概念,中國(guó)將需要多久接受并加以應(yīng)用呢?等待時(shí)間給出答案。“王積杰說(shuō)。

最新文章
1
海信家電2024年報(bào):新風(fēng)空調(diào)市占率第一 進(jìn)入AI空氣管家時(shí)代
2
2025快手磁力大會(huì):加速“生成新商業(yè)”,AI全面重塑商業(yè)經(jīng)營(yíng)
3
三星推出AI神家電,中國(guó)家電的AI智慧生活解決方案何時(shí)到來(lái)?
4
索尼集團(tuán)成員Aniplex上海線下店煥新開(kāi)業(yè),開(kāi)創(chuàng)IP+沉浸互動(dòng)新空間
5
2025中國(guó)國(guó)際消費(fèi)電子博覽會(huì)(CICE)德國(guó)推介會(huì)在柏林成功舉辦
6
DeepSeek的低成本神話(huà)后,云大廠們?yōu)楹芜€要增加算力投入
7
AI智啟生活 第15屆深圳國(guó)際移動(dòng)電子展亮點(diǎn)“劇透”
8
4年前理想李想和特斯拉陶琳說(shuō)的話(huà),值得所有人深思
9
TCL上新Mini LED電視,T7L為何“最能打”,Q9L為何“最值得買(mǎi)”?
10
八年前用A9帶火屏幕發(fā)聲技術(shù)的索尼,今年會(huì)有OLED新品嗎?
11
海信視像發(fā)布2024年可持續(xù)發(fā)展報(bào)告:以綠色科技推動(dòng)可持續(xù)發(fā)展
12
都叫“養(yǎng)鮮”冰箱,格力、容聲有啥不一樣?
13
財(cái)報(bào)觀察:2024全球智能家電銷(xiāo)量第一品牌,講好新故事?
14
續(xù)航滅霸 +倍強(qiáng)大 vivo Y300 Pro+正式發(fā)布
15
BOE(京東方)f-OLED柔性顯示技術(shù)策源地論壇舉辦 攜手中關(guān)村論壇共筑科技創(chuàng)新高地
16
海信視像2024年?duì)I收凈利雙增,高端穩(wěn)步增長(zhǎng),蟬聯(lián)世界第二
17
精裝修熱水系統(tǒng)市場(chǎng)外資占優(yōu),高端住宅需求點(diǎn)燃新增長(zhǎng)(2025年1-2月)
18
AI家電:技術(shù)狂歡還是實(shí)用革命?
19
中國(guó)半導(dǎo)體并購(gòu)潮起
20
小家電市場(chǎng)表現(xiàn)低迷,2025年小家電市場(chǎng)面臨嚴(yán)峻挑戰(zhàn)
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512