近日,快手大數(shù)據(jù)團隊聯(lián)合“快手中學”,舉辦“快手數(shù)據(jù)管治技術交流會”,各行業(yè)數(shù)據(jù)相關開發(fā)者報名參與。快手是短視頻行業(yè)開創(chuàng)者與引領者,致力于成為全球最癡迷于為客戶創(chuàng)造價值的公司,幫助人們發(fā)現(xiàn)所需、發(fā)揮所長,持續(xù)用有溫度的科技提升每個人獨特的幸福感。

在海量的 UGC 數(shù)據(jù)、業(yè)務數(shù)據(jù)、用戶數(shù)據(jù)背后,支撐快手數(shù)據(jù)業(yè)務的快手大數(shù)據(jù)平臺,秉承“以領先的大數(shù)據(jù)技術,激活數(shù)據(jù)價值,賦能業(yè)務,打造快手核心競爭力”的使命。

日處理數(shù)據(jù)集群規(guī)模超過 3W,數(shù)據(jù)量超過 3EB,日入數(shù)據(jù)量超 5PB,例行任務數(shù)超 30W。今年9月,快手曾圍繞“數(shù)據(jù)架構”這一主題舉辦了“快手大數(shù)據(jù)平臺架構技術交流會”。本次交流則聚焦“數(shù)據(jù)管治”主題,明年將繼續(xù)開展更多數(shù)據(jù)領域相關主題活動,歡迎在快手APP搜索并關注“快手大數(shù)據(jù)”官方賬號獲取活動資訊。

(▲出品人介紹)

(▲快手數(shù)據(jù)工廠團隊負責人 董西成)

首先由快手數(shù)據(jù)工廠團隊負責人董西成帶來開場致辭。他介紹,快手在數(shù)據(jù)管治領域涉及的方面非常廣泛,包括數(shù)據(jù)規(guī)范、資源控制、集成交換、數(shù)據(jù)建模等,為了推進數(shù)據(jù)管治,需要在技術產(chǎn)品、規(guī)范流程、組織等方面進行考慮。

(▲快手數(shù)據(jù)管治體系)

本次交流從數(shù)據(jù)管治的標準規(guī)范、資源管控、數(shù)據(jù)質量和數(shù)據(jù)服務四個方面展開分享,由來自快手的數(shù)據(jù)研發(fā)專家孫偉、程偉、楊釗、薛言、劉一凡分別帶來五個主題演講。

孫偉介紹了快手在數(shù)據(jù)中臺化過程中由于模型不規(guī)范帶來的數(shù)據(jù)孤島、指標不一致、模型質量差等一系列問題,并針對這些問題結合元數(shù)據(jù)驅動的思路制定了治理方案,從元數(shù)據(jù)驅動問題的發(fā)現(xiàn)再到治理優(yōu)化,最終實現(xiàn)數(shù)據(jù)模型的規(guī)范化。

從快手 EB 級數(shù)據(jù)量下對于存儲成本管理所遇到的涉及面廣、成本意識弱、缺乏有效方法等問題出發(fā),程偉站在成本分析的角度,制定相應的存儲成本控制策略,并以專項數(shù)據(jù)治理和自驅式數(shù)據(jù)管理相結合的方式去推進落地,從而達到存儲成本管理的目的。

楊釗分享了快手的數(shù)據(jù)保障理念,并通過體系化的方式,保障數(shù)據(jù)完整、準確、一致、及時?；谏鲜霰Ｕ象w系,詳細介紹了快手在直播場景通過需求流程管理、測試、質檢、應急方案等保障策略,以及這些保障策略在直播事前、事中、事后具體的執(zhí)行手段,如雙鏈路設計、壓力測試、應急方案制定等,保障了在數(shù)據(jù)量巨大,指標計算復雜等困難情況下,依然能夠保障整個數(shù)據(jù)產(chǎn)品的產(chǎn)出及時,數(shù)據(jù)準確。

當談到元數(shù)據(jù)平臺和相關應用在快手的發(fā)展過程、現(xiàn)狀及當前快手元數(shù)據(jù)平臺的架構時,薛言分析了面對數(shù)十種的資產(chǎn)、過億的實體規(guī)模的異構元數(shù)據(jù),是如何進行抽象及管理的。并通過找數(shù)、全鏈路血緣、數(shù)據(jù)治理平臺等幾個主要的應用場景,展示了元數(shù)據(jù)在快手大數(shù)據(jù)平臺中發(fā)揮的作用和價值。

劉一凡介紹了快手在數(shù)據(jù)中臺化建設過程中,在指標領域建設所面臨的缺乏流程、規(guī)范引起的口徑不一致、反復梳理重構、缺乏統(tǒng)一服務引起的數(shù)據(jù)出口不一致等問題。并針對上述問題分享了流程、規(guī)范、組織以及系統(tǒng)方面的整體解決思路,重點闡述了 OneMetric 以及 OneService 兩個核心系統(tǒng)模塊的系統(tǒng)設計及其關鍵技術。

(▲演講嘉賓合影:從左至右,分別為孫偉、薛言、程偉、董西成、楊釗、劉一凡)

本次交流采取線下線上結合的參會方式。線下開放了部分參會名額,所有現(xiàn)場觀眾需佩戴口罩,確保測溫和健康寶狀態(tài)正常,在簽署健康聲明后方可入場,入會就座時也均保持了一定間隔。此外,交流全程還通過“快手 APP”直播,觀看總人數(shù)超3萬人。

(▲現(xiàn)場簽到)

快手以技術為核心競爭力,十分重視技術創(chuàng)新和應用,同時也希望通過更多更廣泛的技術交流,和業(yè)內開發(fā)者分享經(jīng)驗,碰撞出更多智慧火花,推動技術不斷前進?！翱焓种袑W”作為內部專業(yè)人才培養(yǎng)平臺,旨在通過提供豐富多樣的專業(yè)課堂培訓、比賽、技術交流,助力人才成長,提升專業(yè)能力和專業(yè)影響力。

2020年“快手中學”聯(lián)合快手技術團隊共舉辦了四場技術交流活動,內容涉及移動端、前端、數(shù)據(jù)平臺架構及數(shù)據(jù)管治。未來,由“快手中學”舉辦的技術交流還將以每季度一次的頻次長期開展。

(大會PPT下載地址:https://github.com/CN-CJ/KwaiTechnologyCommunication)