近日,第十二屆BigData NoSQL Meetup在快手總部圓滿落幕。來自快手、阿里云、京東、滴滴、貝殼找房的技術專家與近300位開發(fā)者齊聚一堂,交流分享NoSQL等大數(shù)據(jù)技術的應用與實踐。
本次活動由快手技術沙龍、云棲社區(qū)等技術社區(qū)共同舉辦??焓旨夹g沙龍是由快手舉辦的線下技術交流活動,每期活動將以AI、大數(shù)據(jù)、音視頻技術等技術方向為主題,邀請產(chǎn)業(yè)、學界的專家、技術人員進行分享,打造前沿技術的交流平臺。
快手大數(shù)據(jù)高級研發(fā)工程師陳楊
本次活動上,快手大數(shù)據(jù)高級研發(fā)工程師陳楊首先分享了《HBase在千億級用戶特征數(shù)據(jù)分析中的應用與實踐》。陳楊介紹,快手每天產(chǎn)生數(shù)百億用戶特征數(shù)據(jù),分析師需要在跨30-90天的數(shù)千億特征數(shù)據(jù)中,任意選擇多維度組合秒級分析用戶行為。針對這一需求, 快手基于HBase自主研發(fā)了支持bitmap轉化、存儲、索引、快速計算的分析服務——BitBase,并成功應用于留存分析、用戶增長、廣告營銷、ABTest 等多個業(yè)務場景。
阿里云數(shù)據(jù)庫專家吳陽平
阿里云數(shù)據(jù)庫專家吳陽平的演講主題為《阿里云HBase x-pack數(shù)據(jù)存儲檢索分析平臺》,演講分享了阿里云HBase x-pack 的平臺能力——基于 Apache HBase、Phoenix、Spark 深度擴展,融合 Solr 等技術,支持海量數(shù)據(jù)的一站式存儲、檢索與分析,被廣泛應用于風控、推薦、檢索、畫像、 社交、物聯(lián)網(wǎng)、離線數(shù)倉等場景,助力企業(yè)數(shù)據(jù)智能化。
京東大數(shù)據(jù)技術專家吳怡燃
京東大數(shù)據(jù)專家吳怡燃分享了《NoSQL在京東的使用》。演講首先介紹了NoSQL在京東的使用場景;講解了HBase支撐在線系統(tǒng)時遇到的挑戰(zhàn)與改進,如支持異構配置的RSGroup、RPC優(yōu)化RWS隊列、跨集群雙活集群等;并分享了HDFS參數(shù)優(yōu)化、Zookeeper配置優(yōu)化、HBase參數(shù)優(yōu)化等經(jīng)驗。
滴滴大數(shù)據(jù)工程師初曉
滴滴大數(shù)據(jù)工程師初曉分享了《基于HBase的NewSQL落地實踐》,主要分享了HBase及其生態(tài)組件Phoenix、Kylin 在滴滴的使用場景及落地中遇到的問題及解決方法。
貝殼大數(shù)據(jù)架構團隊負責人趙國賢
貝殼大數(shù)據(jù)架構團隊負責人趙國賢分享了《流式數(shù)據(jù)的平臺化實踐與挑戰(zhàn)》,介紹了貝殼流式數(shù)據(jù)從產(chǎn)生、處理、應用整個生命周期的管理與平臺化實踐。包括流式數(shù)據(jù)的挑戰(zhàn)、流式數(shù)據(jù)的平臺化建設以及流式數(shù)據(jù)的應用案例。
一直以來,快手十分重視、關注NoSQL等大數(shù)據(jù)技術的發(fā)展。本次快手技術沙龍與云棲社區(qū)聯(lián)合舉辦BigData NoSQL Meetup活動,正是希望能夠進一步推動相關技術的溝通與交流,看到更多經(jīng)驗分享、更多對技術挑戰(zhàn)的突破。
- QQ:61149512