12月7日,StarRocks Summit Asia2024于北京圓滿落幕。本次峰會(huì)以Lakehouse Is All You Need為主題,匯聚行業(yè)領(lǐng)袖和技術(shù)專家,共同探討Data+AI的創(chuàng)新與行業(yè)實(shí)踐。
技術(shù)引領(lǐng),構(gòu)筑湖倉(cāng)新范式
StarRocks TSC Member,鏡舟科技CTO張友東
StarRocksTSC Member,鏡舟科技CTO張友東以“Lakehouse Is All You Need”為題開場(chǎng)演講,深入解讀Lakehouse的演進(jìn)趨勢(shì)以及StarRocks在Lakehouse方向的技術(shù)深耕與創(chuàng)新。
“StarRocks社區(qū)正以前所未有的速度發(fā)展,”張友東展示了一組數(shù)據(jù):“在過去三年里,我們?cè)贕itHub上獲得超過9300顆star,活躍貢獻(xiàn)者超過400人,超過450+市值10億美金以上的企業(yè)在生產(chǎn)環(huán)境使用StarRocks,各行業(yè)對(duì)StarRocks的認(rèn)可與期待與日俱增。”
StarRocks用戶及貢獻(xiàn)者致謝
他詳細(xì)介紹了StarRocks在多個(gè)技術(shù)方向上的突破:
StarRocks通過創(chuàng)新的向量化執(zhí)行引擎和智能查詢優(yōu)化技術(shù),將分析性能提升至行業(yè)領(lǐng)先水平,同時(shí),在3.X版本中實(shí)現(xiàn)了對(duì)數(shù)據(jù)湖的原生支持,使得企業(yè)可以在不遷移數(shù)據(jù)的情況下進(jìn)行高效分析。
此外,StarRocks在半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)分析方面取得顯著進(jìn)展。FlatJSON兼顧半結(jié)構(gòu)化數(shù)據(jù)分析的靈活性與查詢性能,性能提升達(dá)到數(shù)十倍;文本檢索、向量檢索使得RAG應(yīng)用構(gòu)建過程簡(jiǎn)單高效,更好地支撐AI應(yīng)用場(chǎng)景。
“Lakehouse是未來所有數(shù)據(jù)分析的基礎(chǔ)”,張友東強(qiáng)調(diào),Lakehouse是一種新的架構(gòu)范式,結(jié)合數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì),提供統(tǒng)一的數(shù)據(jù)存儲(chǔ),并基于一份數(shù)據(jù)同時(shí)支持企業(yè)BI和AI的應(yīng)用場(chǎng)景,實(shí)現(xiàn)Onedata,allanalytics的業(yè)務(wù)價(jià)值。
通過與Apache Iceberg、Apache Paimon、Apache Hive等開放數(shù)據(jù)湖的深度集成,StarRocks正在構(gòu)建完善的數(shù)據(jù)湖生態(tài),為用戶提供極速統(tǒng)一的湖倉(cāng)分析體驗(yàn)。
商業(yè)突破:以終為始的商業(yè)選擇
鏡舟科技CEO孫文現(xiàn)
鏡舟科技CEO孫文現(xiàn)以《鏡舟數(shù)據(jù)庫(kù)與Lakehouse:面向全球,挖掘商業(yè)增長(zhǎng)新潛力》為題,分享了這兩年來的商業(yè)化心路歷程。
在商業(yè)化道路上,鏡舟科技堅(jiān)持“為客戶創(chuàng)造更大的業(yè)務(wù)成功”的理念,付費(fèi)客戶數(shù)已突破120家,鏡舟科技的ARR(年經(jīng)常性收入)連續(xù)三年翻倍增長(zhǎng),NRR(凈留存率)保持在130%。2024年新增中信銀行、民生銀行、廣發(fā)證券等多家重量級(jí)客戶,充分證明了鏡舟數(shù)據(jù)庫(kù)在企業(yè)級(jí)市場(chǎng)的競(jìng)爭(zhēng)力。
談到增長(zhǎng)背后的戰(zhàn)略,孫文現(xiàn)闡述了一個(gè)商業(yè)上的轉(zhuǎn)變:即以終為始的商業(yè)選擇,以構(gòu)建一家能夠長(zhǎng)期經(jīng)營(yíng)的商業(yè)化公司為目標(biāo),打造能夠滿足致勝場(chǎng)景、帶來商業(yè)化價(jià)值的產(chǎn)品。
孫文現(xiàn)也分享了鏡舟的奮斗目標(biāo):“以商業(yè)成功為伴,面向星辰大海,打造一份長(zhǎng)久奮斗的事業(yè)?!?/p>
生態(tài)共融,與行業(yè)攜手共進(jìn)
ApacheIcebergPMCmember顧宇飛
Apache Iceberg PMC member顧宇飛帶來了《The Evolving Landscape of Iceberg REST Catalog》的精彩分享?!伴_放的生態(tài)系統(tǒng)是推動(dòng)技術(shù)創(chuàng)新的關(guān)鍵。”顧宇飛表示,RESTCatalog的演進(jìn)為數(shù)據(jù)湖提供了更靈活、更高效的訪問機(jī)制。StarRocks對(duì)Iceberg的原生支持,不僅提升了查詢性能,更為企業(yè)構(gòu)建現(xiàn)代化數(shù)據(jù)架構(gòu)提供了堅(jiān)實(shí)基礎(chǔ)。
阿里云計(jì)算平臺(tái)開源OLAP負(fù)責(zé)人范振(辰繁)
“StarRocks是最適合Paimon湖格式的Lakehouse開源引擎?!卑⒗镌朴?jì)算平臺(tái)開源OLAP負(fù)責(zé)人范振(辰繁)介紹,“在阿里集團(tuán)的數(shù)據(jù)湖倉(cāng)實(shí)踐分享中,StarRocks展現(xiàn)了卓越的查詢性能和系統(tǒng)穩(wěn)定性,在與Paimon的協(xié)同場(chǎng)景中,我們實(shí)現(xiàn)了流批一體的數(shù)據(jù)處理能力,分析性能有13倍提升。目前,這一解決方案已在阿里集團(tuán)內(nèi)部廣泛應(yīng)用,也正通過阿里云向更多企業(yè)客戶提供服務(wù)?!?/p>
應(yīng)用實(shí)踐,讓價(jià)值落地
微眾銀行大數(shù)據(jù)工程師,StarRocks平臺(tái)負(fù)責(zé)人林俊鋒
客戶代表、微眾銀行大數(shù)據(jù)工程師,StarRocks平臺(tái)負(fù)責(zé)人林俊鋒分享了其數(shù)字化轉(zhuǎn)型實(shí)踐?!霸谟脩舢嬒?、人群圈選等大數(shù)據(jù)量分析場(chǎng)景中,StarRocks展現(xiàn)出卓越性能,查詢速率相比原有Trino方案提升235%。”林俊鋒介紹,“目前StarRocks已支持行內(nèi)5個(gè)以上部門的10多個(gè)應(yīng)用場(chǎng)景,結(jié)合自研的Exchangis數(shù)據(jù)交換平臺(tái),實(shí)現(xiàn)了跨集群數(shù)據(jù)互通、靈活的權(quán)限管理等特性。”
騰訊音樂專家工程師,業(yè)務(wù)運(yùn)維中心總監(jiān)曹鳳龍
騰訊音樂集團(tuán)(TME)專家工程師,業(yè)務(wù)運(yùn)維中心總監(jiān)曹鳳龍?jiān)敿?xì)闡述了其數(shù)據(jù)倉(cāng)庫(kù)的演進(jìn)歷程?!皬?018年的Druid到如今的StarRocks,StarRocks的存算分離架構(gòu)為我們帶來了顯著收益:組件更精簡(jiǎn)、維護(hù)更便捷,數(shù)據(jù)存儲(chǔ)成本降低50%,同時(shí)支持智能的冷熱數(shù)據(jù)管理?!?/p>
在具體業(yè)務(wù)場(chǎng)景中,通過存儲(chǔ)桶打散、表結(jié)構(gòu)優(yōu)化、物化視圖等技術(shù)手段,大表查詢響應(yīng)時(shí)間從30.97秒降至0.08秒,查詢秒級(jí)響應(yīng)率達(dá)到99%。目前,StarRocks集群支撐著QQ音樂、全民K歌等多個(gè)音樂平臺(tái)的數(shù)據(jù)分析需求。
未來可期
全天共30余個(gè)演講議題,匯聚了7大行業(yè),包括小紅書、騰訊游戲、Shopee、愛奇藝、得物、杭銀消費(fèi)金融、理想汽車、唯品會(huì)、微信、西南證券等多家標(biāo)桿企業(yè)。這些企業(yè)用自身實(shí)踐說明,StarRocks正在通過技術(shù)創(chuàng)新推動(dòng)各行業(yè)數(shù)字化轉(zhuǎn)型,在降本增效的同時(shí),為企業(yè)創(chuàng)造新的業(yè)務(wù)價(jià)值。
通過與合作伙伴和用戶的深度互動(dòng),StarRocks社區(qū)正在構(gòu)建一個(gè)更開放、更繁榮的數(shù)據(jù)技術(shù)生態(tài)。隨著數(shù)字化轉(zhuǎn)型深入推進(jìn),StarRocks將繼續(xù)發(fā)揮技術(shù)引領(lǐng)作用,助力更多企業(yè)實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化。
隨著峰會(huì)落幕,StarRocks在湖倉(cāng)技術(shù)領(lǐng)域的愿景更加清晰:以開放、創(chuàng)新的技術(shù)理念,攜手合作伙伴共建現(xiàn)代化數(shù)據(jù)分析生態(tài),為企業(yè)數(shù)字化轉(zhuǎn)型提供強(qiáng)有力的支撐。正如張友東在演講結(jié)束時(shí)所說:“Lakehouse不僅是技術(shù)演進(jìn)的方向,更是釋放數(shù)據(jù)價(jià)值的關(guān)鍵,Lakehouse is ALL you need,StarRocks will power your lakehouse!”
免責(zé)聲明:以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體,相關(guān)信息僅為傳遞更多信息之目的,不代表本網(wǎng)觀點(diǎn),亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。如稿件版權(quán)單位或個(gè)人不想在本網(wǎng)發(fā)布,可與本網(wǎng)聯(lián)系,本網(wǎng)視情況可立即將其撤除。