近日,快手數(shù)據(jù)平臺部聯(lián)合“快手中學”,專題舉辦“快手大數(shù)據(jù)平臺架構(gòu)技術(shù)交流會”(Kuaishou Data Platform Architecture Conference),吸引了各行業(yè)數(shù)據(jù)相關(guān)開發(fā)者的參與。

從hadoop到spark,再到flink,從kylin到druid,再到clickhouse,從離線數(shù)倉到實時數(shù)倉架構(gòu),再到數(shù)據(jù)湖架構(gòu),近10多年中,大數(shù)據(jù)平臺架構(gòu)經(jīng)歷了快速演變。各大互聯(lián)網(wǎng)公司或借助開源生態(tài),或通過自研構(gòu)建大數(shù)據(jù)架構(gòu)系統(tǒng),促進數(shù)據(jù)相關(guān)業(yè)務(wù)的價值挖掘與發(fā)展,為公司的戰(zhàn)略發(fā)展、產(chǎn)品改進、用戶增長帶來收益。

作為全球領(lǐng)先的生活分享社區(qū),目前快手日活躍用戶超過 3 億,庫存短視頻數(shù)量超過 200 億條,直播日活超過 1.7 億,電商日活超過 1 億。在海量的 UGC 數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、用戶數(shù)據(jù)背后,支撐快手數(shù)據(jù)業(yè)務(wù)的大數(shù)據(jù)平臺架構(gòu)系統(tǒng),經(jīng)歷了幾個階段的高速發(fā)展。為此,交流會著重介紹了快手在大數(shù)據(jù)存儲、調(diào)度、計算上的技術(shù)挑戰(zhàn)、應(yīng)用、演進與最佳實踐。

(▲交流現(xiàn)場)

本次交流采取線下線上結(jié)合的參會方式。交流會開放了部分線下參會名額,所有現(xiàn)場觀眾需佩戴口罩,確保測溫和健康寶狀態(tài)正常,在簽署健康聲明后方可入場,入會就座時也均保持了一定間隔。此外,交流全程還通過“快手APP”直播,觀看總?cè)藬?shù)超1.5萬人。

交流過程中,該場出品人之一、快手平臺研發(fā)&數(shù)據(jù)平臺負責人韋彬首先致辭。他介紹,快手大數(shù)據(jù)平臺的使命是以領(lǐng)先的大數(shù)據(jù)技術(shù),激活數(shù)據(jù)價值,賦能業(yè)務(wù),打造快手核心競爭力。大數(shù)據(jù)團隊從2011年創(chuàng)立之初沒有全職數(shù)據(jù)同學,到目前團隊已逐漸完備。在快手做大數(shù)據(jù)有四個特點,一是數(shù)據(jù)規(guī)模大,對數(shù)據(jù)治理的要求很高;二是數(shù)據(jù)驅(qū)動的文化深入人心,團隊一直致力于對標行業(yè)最好水平打造數(shù)據(jù)中臺;三是極度重視效率,確保數(shù)據(jù)平臺靈活可用;四是為滿足快手線上社區(qū)的場景,對數(shù)據(jù)的建模能力、應(yīng)用能力都有極高要求。

(▲快手平臺研發(fā)&數(shù)據(jù)平臺負責人 韋彬)

第二位出品人、快手大數(shù)據(jù)架構(gòu)團隊負責人趙健博介紹,快手大數(shù)據(jù)架構(gòu)團隊的領(lǐng)域主要涉及六個方向,分別是:存儲系統(tǒng)、消息隊列、資源調(diào)度、實時引擎、離線引擎、OLAP引擎。近幾年,快手大數(shù)據(jù)架構(gòu)的技術(shù)發(fā)展迅猛,從離線計算分析到實時計算,從大集群到超大集群,飛速迭代優(yōu)化。

(▲快手大數(shù)據(jù)架構(gòu)團隊負責人 趙健博)

隨后,來自快手的分布式存儲高級研發(fā)工程師徐增強、離線計算引擎方向負責人王磊、分布式消息隊列高級研發(fā)工程師陳春斌,以及騰訊數(shù)據(jù)平臺部數(shù)據(jù)湖研發(fā)負責人邵賽賽,分別帶來主題演講。

徐增強從數(shù)據(jù)規(guī)模、挑戰(zhàn)和實踐等幾個方面,對快手分布式HDFS系統(tǒng)進行了全方位解讀,并詳細介紹了快手EB級HDFS集群發(fā)展歷程中遇見一些核心問題的解決思路,如主節(jié)點擴展性問題、主節(jié)點處理能力瓶頸問題、節(jié)點熱點問題、重要任務(wù)的分級保障問題等。

王磊介紹了快手Hive元數(shù)據(jù)在億級分區(qū)規(guī)模的存儲使用上所面臨的總量多、增速快、壓力大等多方面挑戰(zhàn),針對上述挑戰(zhàn)給出了快手所采取的系列優(yōu)化措施,包括讀寫分離、API性能優(yōu)化、流量分級控制、Federation水平擴容等,從而達到提升Hive元數(shù)據(jù)服務(wù)穩(wěn)定性和性能的目標。

陳春斌介紹了快手Kafka在業(yè)務(wù)快速增長過程中遇到的集群擴容瓶頸、集群間資源利用率不均、業(yè)務(wù)接入效率低等問題,針對上述問題從集群水平擴展性和topic水平擴展性等方面對Kafka進行針對性改造,從而達到平滑支撐業(yè)務(wù)快速增長和提高資源利用率的目的。

邵賽賽從數(shù)據(jù)湖技術(shù)需要具備的能力,如何構(gòu)建一個統(tǒng)一的數(shù)據(jù)湖存儲、并在其上進行多種形式的數(shù)據(jù)分析角度切入,介紹了Iceberg的設(shè)計初衷、優(yōu)點及能力,使聽眾對表格式這一領(lǐng)域有了充分理解,并深入了解Iceberg的設(shè)計、實現(xiàn)、優(yōu)勢以及使用方式。

(▲演講嘉賓合影:從左至右,分別為徐增強、陳春斌、邵賽賽、趙健博、王磊、李遠策)

快手以技術(shù)為核心競爭力,十分重視技術(shù)創(chuàng)新和應(yīng)用,同時也希望通過更多更廣泛的技術(shù)交流,和業(yè)內(nèi)開發(fā)者分享經(jīng)驗,碰撞出更多智慧火花,推動技術(shù)不斷前進。“快手中學”作為內(nèi)部專業(yè)人才培養(yǎng)平臺,旨在通過提供豐富多樣的專業(yè)課堂培訓、比賽、技術(shù)交流,助力人才成長,提升專業(yè)能力和專業(yè)影響力。

今年7—8月,“快手中學”曾聯(lián)合快手大前端團隊舉辦“快手大前端技術(shù)交流會2020”,受疫情影響僅做線上直播,而隨著疫情防控的逐步穩(wěn)定,為了給觀眾帶來更好的交流互動體驗,本次技術(shù)交流首次開放了部分線下參會名額。未來,由“快手中學”舉辦的技術(shù)交流還將以每季度一次的頻次長期開展。