近日,快手?jǐn)?shù)據(jù)平臺(tái)部聯(lián)合“快手中學(xué)”,專題舉辦“快手大數(shù)據(jù)平臺(tái)架構(gòu)技術(shù)交流會(huì)”(Kuaishou Data Platform Architecture Conference),吸引了各行業(yè)數(shù)據(jù)相關(guān)開發(fā)者的參與。

從hadoop到spark,再到flink,從kylin到druid,再到clickhouse,從離線數(shù)倉到實(shí)時(shí)數(shù)倉架構(gòu),再到數(shù)據(jù)湖架構(gòu),近10多年中,大數(shù)據(jù)平臺(tái)架構(gòu)經(jīng)歷了快速演變。各大互聯(lián)網(wǎng)公司或借助開源生態(tài),或通過自研構(gòu)建大數(shù)據(jù)架構(gòu)系統(tǒng),促進(jìn)數(shù)據(jù)相關(guān)業(yè)務(wù)的價(jià)值挖掘與發(fā)展,為公司的戰(zhàn)略發(fā)展、產(chǎn)品改進(jìn)、用戶增長帶來收益。

作為全球領(lǐng)先的生活分享社區(qū),目前快手日活躍用戶超過 3 億,庫存短視頻數(shù)量超過 200 億條,直播日活超過 1.7 億,電商日活超過 1 億。在海量的 UGC 數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、用戶數(shù)據(jù)背后,支撐快手?jǐn)?shù)據(jù)業(yè)務(wù)的大數(shù)據(jù)平臺(tái)架構(gòu)系統(tǒng),經(jīng)歷了幾個(gè)階段的高速發(fā)展。為此,交流會(huì)著重介紹了快手在大數(shù)據(jù)存儲(chǔ)、調(diào)度、計(jì)算上的技術(shù)挑戰(zhàn)、應(yīng)用、演進(jìn)與最佳實(shí)踐。

(▲交流現(xiàn)場)

本次交流采取線下線上結(jié)合的參會(huì)方式。交流會(huì)開放了部分線下參會(huì)名額,所有現(xiàn)場觀眾需佩戴口罩,確保測溫和健康寶狀態(tài)正常,在簽署健康聲明后方可入場,入會(huì)就座時(shí)也均保持了一定間隔。此外,交流全程還通過“快手APP”直播,觀看總?cè)藬?shù)超1.5萬人。

交流過程中,該場出品人之一、快手平臺(tái)研發(fā)&數(shù)據(jù)平臺(tái)負(fù)責(zé)人韋彬首先致辭。他介紹,快手大數(shù)據(jù)平臺(tái)的使命是以領(lǐng)先的大數(shù)據(jù)技術(shù),激活數(shù)據(jù)價(jià)值,賦能業(yè)務(wù),打造快手核心競爭力。大數(shù)據(jù)團(tuán)隊(duì)從2011年創(chuàng)立之初沒有全職數(shù)據(jù)同學(xué),到目前團(tuán)隊(duì)已逐漸完備。在快手做大數(shù)據(jù)有四個(gè)特點(diǎn),一是數(shù)據(jù)規(guī)模大,對(duì)數(shù)據(jù)治理的要求很高;二是數(shù)據(jù)驅(qū)動(dòng)的文化深入人心,團(tuán)隊(duì)一直致力于對(duì)標(biāo)行業(yè)最好水平打造數(shù)據(jù)中臺(tái);三是極度重視效率,確保數(shù)據(jù)平臺(tái)靈活可用;四是為滿足快手線上社區(qū)的場景,對(duì)數(shù)據(jù)的建模能力、應(yīng)用能力都有極高要求。

(▲快手平臺(tái)研發(fā)&數(shù)據(jù)平臺(tái)負(fù)責(zé)人 韋彬)

第二位出品人、快手大數(shù)據(jù)架構(gòu)團(tuán)隊(duì)負(fù)責(zé)人趙健博介紹,快手大數(shù)據(jù)架構(gòu)團(tuán)隊(duì)的領(lǐng)域主要涉及六個(gè)方向,分別是:存儲(chǔ)系統(tǒng)、消息隊(duì)列、資源調(diào)度、實(shí)時(shí)引擎、離線引擎、OLAP引擎。近幾年,快手大數(shù)據(jù)架構(gòu)的技術(shù)發(fā)展迅猛,從離線計(jì)算分析到實(shí)時(shí)計(jì)算,從大集群到超大集群,飛速迭代優(yōu)化。

(▲快手大數(shù)據(jù)架構(gòu)團(tuán)隊(duì)負(fù)責(zé)人 趙健博)

隨后,來自快手的分布式存儲(chǔ)高級(jí)研發(fā)工程師徐增強(qiáng)、離線計(jì)算引擎方向負(fù)責(zé)人王磊、分布式消息隊(duì)列高級(jí)研發(fā)工程師陳春斌,以及騰訊數(shù)據(jù)平臺(tái)部數(shù)據(jù)湖研發(fā)負(fù)責(zé)人邵賽賽,分別帶來主題演講。

徐增強(qiáng)從數(shù)據(jù)規(guī)模、挑戰(zhàn)和實(shí)踐等幾個(gè)方面,對(duì)快手分布式HDFS系統(tǒng)進(jìn)行了全方位解讀,并詳細(xì)介紹了快手EB級(jí)HDFS集群發(fā)展歷程中遇見一些核心問題的解決思路,如主節(jié)點(diǎn)擴(kuò)展性問題、主節(jié)點(diǎn)處理能力瓶頸問題、節(jié)點(diǎn)熱點(diǎn)問題、重要任務(wù)的分級(jí)保障問題等。

王磊介紹了快手Hive元數(shù)據(jù)在億級(jí)分區(qū)規(guī)模的存儲(chǔ)使用上所面臨的總量多、增速快、壓力大等多方面挑戰(zhàn),針對(duì)上述挑戰(zhàn)給出了快手所采取的系列優(yōu)化措施,包括讀寫分離、API性能優(yōu)化、流量分級(jí)控制、Federation水平擴(kuò)容等,從而達(dá)到提升Hive元數(shù)據(jù)服務(wù)穩(wěn)定性和性能的目標(biāo)。

陳春斌介紹了快手Kafka在業(yè)務(wù)快速增長過程中遇到的集群擴(kuò)容瓶頸、集群間資源利用率不均、業(yè)務(wù)接入效率低等問題,針對(duì)上述問題從集群水平擴(kuò)展性和topic水平擴(kuò)展性等方面對(duì)Kafka進(jìn)行針對(duì)性改造,從而達(dá)到平滑支撐業(yè)務(wù)快速增長和提高資源利用率的目的。

邵賽賽從數(shù)據(jù)湖技術(shù)需要具備的能力,如何構(gòu)建一個(gè)統(tǒng)一的數(shù)據(jù)湖存儲(chǔ)、并在其上進(jìn)行多種形式的數(shù)據(jù)分析角度切入,介紹了Iceberg的設(shè)計(jì)初衷、優(yōu)點(diǎn)及能力,使聽眾對(duì)表格式這一領(lǐng)域有了充分理解,并深入了解Iceberg的設(shè)計(jì)、實(shí)現(xiàn)、優(yōu)勢以及使用方式。

(▲演講嘉賓合影:從左至右,分別為徐增強(qiáng)、陳春斌、邵賽賽、趙健博、王磊、李遠(yuǎn)策)

快手以技術(shù)為核心競爭力,十分重視技術(shù)創(chuàng)新和應(yīng)用,同時(shí)也希望通過更多更廣泛的技術(shù)交流,和業(yè)內(nèi)開發(fā)者分享經(jīng)驗(yàn),碰撞出更多智慧火花,推動(dòng)技術(shù)不斷前進(jìn)?！翱焓种袑W(xué)”作為內(nèi)部專業(yè)人才培養(yǎng)平臺(tái),旨在通過提供豐富多樣的專業(yè)課堂培訓(xùn)、比賽、技術(shù)交流,助力人才成長,提升專業(yè)能力和專業(yè)影響力。

今年7—8月,“快手中學(xué)”曾聯(lián)合快手大前端團(tuán)隊(duì)舉辦“快手大前端技術(shù)交流會(huì)2020”,受疫情影響僅做線上直播,而隨著疫情防控的逐步穩(wěn)定,為了給觀眾帶來更好的交流互動(dòng)體驗(yàn),本次技術(shù)交流首次開放了部分線下參會(huì)名額。未來,由“快手中學(xué)”舉辦的技術(shù)交流還將以每季度一次的頻次長期開展。