StarRocksTSC Member，鏡舟科技CTO張友東以“Lakehouse Is All You Need”為題做了開場演講，深入解讀 Lakehouse 的演進(jìn)趨勢以及 StarRocks 在 Lakehouse 方向的技術(shù)深耕與創(chuàng)新。

　　社區(qū)發(fā)展概覽

　　StarRocks 自 2021 年 9 月開源以來，社區(qū)持續(xù)保持高速發(fā)展。GitHub Star 數(shù)已超過 9300，超過 400 名開發(fā)者參與社區(qū)貢獻(xiàn)，對齊到三年時(shí)間里，StarRocks 是同類開源項(xiàng)目里增長最快的。

　　隨著數(shù)據(jù)分析對企業(yè)經(jīng)營的重要性日益增加，StarRocks 的應(yīng)用已經(jīng)在多個(gè)行業(yè)落地。在互聯(lián)網(wǎng)領(lǐng)域，包括騰訊、阿里巴巴、小紅書、攜程、貝殼、滴滴在內(nèi)的多家知名企業(yè)已將 StarRocks 投入生產(chǎn)環(huán)境。排名前50的互聯(lián)網(wǎng)公司中，超過一半正在使用StarRocks?；ヂ?lián)網(wǎng)企業(yè)的數(shù)據(jù)技術(shù)選擇是業(yè)界的風(fēng)向標(biāo)，這些頭部企業(yè)的采用進(jìn)一步證明了StarRocks代表著先進(jìn)的生產(chǎn)力。

　　在新經(jīng)濟(jì)和新制造行業(yè)，StarRocks 也發(fā)揮了顯著作用。例如，領(lǐng)先的零售企業(yè)（華潤萬家、大潤發(fā)）、物流企業(yè)（京東物流、順豐）、手機(jī)制造廠商（OPPO、vivo）以及新勢力車廠（理想、蔚來）等，在生產(chǎn)中使用 StarRocks。這些企業(yè)利用 StarRocks 提升經(jīng)營效率。

　　金融行業(yè)同樣是 StarRocks 的重要應(yīng)用場景。多家頂級股份制銀行（中信、民生、平安銀行）、城商行（寧波銀行、南京銀行、中原銀行）以及證券基金公司（廣發(fā)證券、申萬宏源、招商證券）均已在生產(chǎn)環(huán)境使用 StarRocks。這些企業(yè)利用 StarRocks 降低金融風(fēng)險(xiǎn)、優(yōu)化投資決策。

　　不僅在國內(nèi)，StarRocks 的影響力也在國際舞臺上逐步顯現(xiàn)。在過去的一年里，多個(gè)海外企業(yè)通過引入 StarRocks 取得了顯著的技術(shù)和業(yè)務(wù)效益：

　　? 全球最大的圖片社交分享網(wǎng)站 Pinterest ，其廣告商實(shí)時(shí)洞察工具 Partner Insights 從 Druid 升級到 StarRocks，實(shí)現(xiàn) P99 延時(shí)降低 50%、資源成本降低 68%，性價(jià)比提升了 6 倍。

　　? 東南亞最大的電子商務(wù)平臺 Shopee ，其核心數(shù)據(jù)分析產(chǎn)品 DataGO 和 DataService 從 Presto 升級至 StarRocks，查詢 Hive 性能相提升 3-10 倍。

　　? 全球領(lǐng)先的賬戶類營銷平臺 Demandbase ，其數(shù)據(jù)分析平臺從 ClickHouse 升級到 StarRocks，計(jì)算節(jié)點(diǎn)規(guī)模減少 60%，存儲資源下降 90%。這一顯著提升得益于 StarRocks 強(qiáng)大的多表查詢能力，用戶無需通過復(fù)雜的 ELT 構(gòu)建大寬表。

　　StarRocks的應(yīng)用案例遠(yuǎn)不止于此。在國際市場，還有許多知名企業(yè)在使用StarRocks，包括零售領(lǐng)域的巨頭沃爾瑪和屈臣氏、在線旅游領(lǐng)域巨頭的Airbnb、Expedia，以及游戲領(lǐng)領(lǐng)頭羊EAgames、加密貨幣領(lǐng)域領(lǐng)頭羊Coinbase等。One more thing，全球市值超萬億美元的企業(yè)中已有兩家正在使用StarRocks，充分展示了其在全球范圍內(nèi)的競爭力和影響力。

　　隨著 StarRocks 社區(qū)用戶越來越多，產(chǎn)生的商業(yè)化訴求也越來越多，目前有部分廠商提供 StarRocks 的商業(yè)化支持。例如，鏡舟科技基于 StarRocks 開發(fā)了企業(yè)級的鏡舟數(shù)據(jù)庫，現(xiàn)已在多個(gè)行業(yè)成功落地。國內(nèi)領(lǐng)先的云廠商（如阿里云、騰訊云、火山引擎、華為云和移動云）也在各自的平臺上推出了 StarRocks 的托管服務(wù)。

　　此外，許多數(shù)據(jù)平臺和數(shù)據(jù)中臺廠商將 StarRocks 作為數(shù)據(jù)底座，推動其產(chǎn)品性能提升。例如，瓴羊在其產(chǎn)品中采用 StarRocks 作為輕量化數(shù)據(jù)底座，帆軟 BI 利用 StarRocks 加速 BI 分析，而數(shù)勢、滴普等企業(yè)則通過 StarRocks 支撐用戶畫像、指標(biāo)平臺等產(chǎn)品的數(shù)據(jù)分析。

　　正如Nvidia Inside是AI時(shí)代的核心計(jì)算動力，StarRocksInside給BI數(shù)據(jù)分析系統(tǒng)提供強(qiáng)大的計(jì)算動力。未來，StarRocks 將繼續(xù)推動生態(tài)建設(shè)，歡迎更多廠商及數(shù)據(jù)平臺產(chǎn)品使用 StarRocks 驅(qū)動業(yè)務(wù)增長 。

　　StarRocks 的發(fā)展離不開眾多廠商和用戶的廣泛參與和深度支持。這些廠商和用戶在使用 StarRocks 的同時(shí)，積極參與了社區(qū)建設(shè)，為其持續(xù)發(fā)展注入了動力。

　　作為 StarRocks 社區(qū)的主導(dǎo)力量，鏡舟科技貢獻(xiàn)了 70%+ 的核心功能，包括 CBO 優(yōu)化器、向量化技術(shù)、主鍵模型等關(guān)鍵特性。云廠商也在 StarRocks 的生態(tài)中扮演了重要角色。例如，阿里云、騰訊云和火山引擎深度參與了數(shù)據(jù)湖分析、物化視圖和行列混存等多個(gè)功能的開發(fā)。與此同時(shí)，StarRocks 的用戶也通過自身的使用反饋推動了產(chǎn)品的不斷完善。例如，騰訊、華為、滴滴、得物和芒果 TV 等企業(yè)貢獻(xiàn)了文本檢索、向量檢索和全局字典、K8S Operator 等創(chuàng)新功能。

　　在過去三年，StarRocks 經(jīng)歷了 3 個(gè)大版本的迭代，始終保持快速迭代和技術(shù)創(chuàng)新，分別是 1.0、2.0 以及現(xiàn)在正在迭代的 3.0 大版本。

　　1.0以極速性能為主線，憑借極致的查詢性能，在業(yè)界企業(yè)里開始落地使用。

　　2.0以融合統(tǒng)一為主線，能支持更多的應(yīng)用場景，在企業(yè)里不斷擴(kuò)大的使用規(guī)模，統(tǒng)一分析技術(shù)棧。

　　3.0以湖倉一體為主線，希望推動數(shù)據(jù)分析技術(shù)棧向 Lakehouse 方向演進(jìn)， 推出存算分離架構(gòu)，物化視圖、湖倉分析、半結(jié)構(gòu)化數(shù)據(jù)分析等一系列的重要特性。

　　關(guān)鍵技術(shù)演進(jìn)

　　存算分離

　　去年4月份，StarRocks3.0版本正式發(fā)布存算分離架構(gòu)，經(jīng)過一年半的打磨，存算分離在性能、功能等方面得到全面的提升。

　　在功能方面，實(shí)現(xiàn)了基于對象存儲的主鍵索引，基于存算分離架構(gòu)也能高效支持實(shí)時(shí)分析。同時(shí)其他的關(guān)鍵功能，例如同步/異步物化視圖，generated column、query cache 等，也對齊了存算一體。

　　在性能方面，熱數(shù)據(jù)查詢性能與存算一體一致；引入 SLRU 算法進(jìn)一步優(yōu)化 Cache 命中率，避免大查詢影響；同時(shí)增加 cache warmup 能力，用戶可以主動的根據(jù)業(yè)務(wù)需求預(yù)熱緩存；最后就是不斷優(yōu)化冷查，在標(biāo)準(zhǔn)測試下，完全冷查的開箱性能達(dá)到存算一體的 1/3。

　　在用戶方面，目前社區(qū)已經(jīng)有100+用戶在生產(chǎn)環(huán)境使用了StarRocks存算分離，單集群最大規(guī)模突破100節(jié)點(diǎn)。

　　? 騰訊音樂采用 StarRocks 存算分離替換 ClickHouse、Druid，統(tǒng)一數(shù)據(jù)分析技術(shù)棧，資源成本降低 50%。

　　? 得物 APP 采用 StarRocks 存算分離替換 ClickHouse，資源成本降低 40%

　　一句話總結(jié)，StarRocks存算分離是企業(yè)降本增效神器，很靠譜，放心用。

　　實(shí)時(shí)分析

　　業(yè)務(wù)對數(shù)據(jù)分析的實(shí)效性要求越來越高，數(shù)據(jù)實(shí)時(shí)高并發(fā)的寫入，產(chǎn)生很多小事務(wù)，小文件，給 StarRocks FE 元數(shù)據(jù)管理帶來壓力，BE 的數(shù)據(jù) Compaciton 也會產(chǎn)生很大的開銷。

　　一方面，StarRocks 主鍵模型持續(xù)優(yōu)化實(shí)時(shí)場景 Compacion 策略，在典型的實(shí)時(shí)寫入場景下，I/O 量下降 40%-70%。另一方面，針對實(shí)時(shí)高并發(fā)場景，StarRocks 支持了 merge commit 的策略，將并發(fā)執(zhí)行的多個(gè)小事務(wù)，合并為大事務(wù)提交，從而減少事務(wù)數(shù)量，減少小文件。

　　在某國際領(lǐng)先的網(wǎng)絡(luò)設(shè)備廠商的場景中，面對 300 張表、每張表每秒 300 并發(fā)的寫入場景，StarRocks 能穩(wěn)定支撐。

　　半結(jié)構(gòu)化數(shù)據(jù)

　　半結(jié)構(gòu)化在數(shù)據(jù)分析場景越來越普遍，如何兼顧靈活性與查詢性能是半結(jié)構(gòu)化數(shù)據(jù)分析的重要挑戰(zhàn)。

　　StarRocks 3.1 版本里推出了生成列的能力來加速半結(jié)構(gòu)化數(shù)據(jù)分析，通過將半結(jié)構(gòu)化數(shù)據(jù)里的指定的列單獨(dú)存儲來提升查詢性能，這種方法加速效果好，但用戶需要手動指定生成哪些列，不夠靈活，不夠易用。

　　于是 StarRocks 推出 Flat json 的能力，針對 JSON 數(shù)據(jù)列，可以在寫入時(shí)自動按列展平存儲；JSON展平，相比于按原始數(shù)據(jù)導(dǎo)入性能有數(shù)倍提升，查詢性能有數(shù)十倍的提升。

　　向量檢索

　　大模型的廣泛應(yīng)用帶火了 RAG 應(yīng)用，RAG 通過將領(lǐng)域知識庫存儲到向量數(shù)據(jù)庫，用戶查詢時(shí)可以先從向量數(shù)據(jù)庫獲取到更多的上下文，然后再將上下文喂給大模型來增強(qiáng)體驗(yàn)。騰訊大數(shù)據(jù)團(tuán)隊(duì)在過去幾年內(nèi)部數(shù)據(jù)分析場景大規(guī)模應(yīng)用 StarRocks，在今年他們在內(nèi)部真實(shí)的業(yè)務(wù)場景里孵化出了 StarRocks 向量檢索的能力。

　　StarRocks 向量檢索目前支持 ivf-pq、hnsw 兩種索引算法，在 VectorDBBench 的性能評測中，相比其他具備向量檢索功能的數(shù)據(jù)庫有 2-10 倍的性能提升。

　　結(jié)合騰訊大數(shù)據(jù)團(tuán)隊(duì)之前貢獻(xiàn)的文本檢索能力，StarRocks可以支持標(biāo)量、文本、向量的混合檢索過濾，在混元大模型文生圖的場景里，StarRocks相比原有的多組件組合方案，全鏈路延時(shí)從15秒降低至2秒，資源成本降低70%。

　　物化視圖

　　物化視圖的加速原理很簡單，在數(shù)據(jù)分析場景中卻極具挑戰(zhàn)性，主要是因?yàn)榉治鰣鼍爸械?SQL 多種多樣，既可能由數(shù)據(jù)庫專家編寫，也可能由分析師編寫，或者程序自動生成。在社區(qū)中，已有數(shù)百位用戶通過物化視圖實(shí)現(xiàn)了透明查詢加速，面對豐富的加速場景，經(jīng)過多個(gè)版本的持續(xù)優(yōu)化，物化視圖整體功能已非常完善。

　　在過去一年里，物化視圖的改進(jìn)主要集中在視圖維護(hù)與查詢加速兩方面。物化視圖管理上，主要是增強(qiáng)了數(shù)據(jù)湖上物化視圖的能力，支持在 Hive、Iceberg、Paimon 等數(shù)據(jù)湖上創(chuàng)建物化視圖；并支持多級表達(dá)式分區(qū)，可將數(shù)據(jù)湖中的分區(qū)數(shù)據(jù)一一映射到物化視圖，并提供獨(dú)立的生命周期管理（TTL）策略。

　　在自動查詢改寫上，從基于 Aggregation、Join、Union 的改寫擴(kuò)展到支持基于視圖的改寫和文本改寫，使業(yè)務(wù)加速更加便捷。另外，StarRocks 還支持查詢物化視圖自動改寫到查詢基表，進(jìn)一步簡化基于物化視圖的分層建模流程。

　　湖倉分析

　　StarRocks 從 1.0 版本便開始支持湖分析的能力。從最初支持 Hive 數(shù)據(jù)湖，隨后擴(kuò)展到 Iceberg、Paimon 等更多開放數(shù)據(jù)湖。從支持?jǐn)?shù)據(jù)湖分析、數(shù)據(jù)湖寫入、數(shù)據(jù)湖緩存加速，以及在數(shù)據(jù)湖上創(chuàng)建物化 MV 等功能，如今，StarRocks 已實(shí)現(xiàn)了較為完善的數(shù)據(jù)湖分析能力。

　　在性能方面，以查詢Iceberg為例，StarRocks查詢Iceberg的速度是Trino的3-6倍，同時(shí)在查詢Delta Lake時(shí)，其性能是Databricks Photon的2倍。

　　Lakehouse Is All You Need

　　下一個(gè)三年，StarRocks如何“贏”

　　一切過往，皆為序章。StarRocks 作為一個(gè)已經(jīng)發(fā)展三年的開源項(xiàng)目，在這個(gè)關(guān)鍵時(shí)間節(jié)點(diǎn)，我們需要思考一個(gè)重要的問題：未來三年，StarRocks 如何在日新月異的數(shù)據(jù)技術(shù)浪潮中保持活力？

　　回顧過去三年，如果說 StarRocks 社區(qū)還算是取得一些成績，我認(rèn)為主要得益于兩個(gè)關(guān)鍵點(diǎn)：

　　? 首先是開放的社區(qū)。StarRocks 匯聚了廣泛的行業(yè)用戶實(shí)踐，建立了繁榮的商業(yè)化生態(tài)，吸引了頭部公司的參與和貢獻(xiàn)，并逐步走向國際化。這種開放的社區(qū)模式，不僅推動了 StarRocks 的技術(shù)進(jìn)步，也讓其逐步登上國際舞臺。

　　? 其次是先進(jìn)的OLAP技術(shù)?；诖鷥r(jià)的優(yōu)化器、向量化、主鍵模型等一系列的技術(shù)在開源領(lǐng)域都是開創(chuàng)性的，這些技術(shù)讓 OLAP 變得更加高效和簡單。

　　展望未來三年，StarRocks 將繼續(xù)保持社區(qū)的開放性，但要想始終處于技術(shù)前沿并不容易。實(shí)際上，在規(guī)劃 StarRocks 3.0 時(shí)，社區(qū)已經(jīng)確定了圍繞Lakehouse方向的主線。因?yàn)槲覀兿嘈?，?shù)據(jù)分析的未來屬于 Lakehouse。這也是今天分享主題 “Lakehouse is all you need” 的由來。這個(gè)標(biāo)題靈感源自 AI 領(lǐng)域家喻戶曉的論文 《Attention is all you need》，它闡述了注意力機(jī)制對 AI 的重要性，而 Lakehouse 對數(shù)據(jù)分析的重要性就如同 Attention 之于 AI。

　　至于為什么 Lakehouse 對數(shù)據(jù)分析如此重要，我們還需追溯到 1980 年代的數(shù)據(jù)技術(shù)變革。

　　數(shù)據(jù)分析架構(gòu)演進(jìn)與挑戰(zhàn)

　　數(shù)據(jù)倉庫vs數(shù)據(jù)湖

　　數(shù)據(jù)倉庫的發(fā)展可以追溯到 1980 年代。當(dāng)時(shí)，通過 ETL 處理將關(guān)系型數(shù)據(jù)庫、日志文件等數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一存儲到數(shù)據(jù)倉庫，用于支持 BI 報(bào)表、數(shù)據(jù)挖掘等分析場景。數(shù)據(jù)倉庫在數(shù)據(jù)質(zhì)量、事務(wù)處理、查詢性能和數(shù)據(jù)治理等方面具備顯著優(yōu)勢。然而，隨著數(shù)據(jù)量的激增和分析需求的日益復(fù)雜，傳統(tǒng)數(shù)據(jù)倉庫也面臨以下挑戰(zhàn)：

　　? 數(shù)據(jù)多樣化：除了結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)越來越多。

　　? 成本與擴(kuò)展性：大數(shù)據(jù)量增長帶來了存儲成本的壓力和橫向擴(kuò)展的問題。

　　? 高級數(shù)據(jù)分析支持：新興 AI 應(yīng)用難以高效訪問數(shù)據(jù)倉庫中的數(shù)據(jù)。

　　2010 年，數(shù)據(jù)湖的概念首次提出。如果將數(shù)據(jù)倉庫比作經(jīng)過加工處理的瓶裝水，那么數(shù)據(jù)湖更像一個(gè)原生態(tài)的大池子，企業(yè)可將不同類型的數(shù)據(jù)統(tǒng)一存儲于此。數(shù)據(jù)湖的核心優(yōu)勢在于其統(tǒng)一性和開放性：

　　統(tǒng)一性：提供低成本、高擴(kuò)展性存儲，成為企業(yè)數(shù)據(jù)的 Single Source of Truth

　　開放性：采用開放的數(shù)據(jù)格式，方便不同應(yīng)用靈活訪問。

　　雖然數(shù)據(jù)湖在存儲層面解決了數(shù)據(jù)倉庫的諸多問題，但新的挑戰(zhàn)也隨之而來：如何挖掘數(shù)據(jù)湖中的數(shù)據(jù)價(jià)值？應(yīng)用該如何高效地使用這些數(shù)據(jù)？

　　數(shù)據(jù)湖、數(shù)據(jù)倉庫分層組合架構(gòu)

　　業(yè)界為應(yīng)對上述挑戰(zhàn)，提出了一種數(shù)據(jù)湖與數(shù)據(jù)倉庫分層組合的架構(gòu)：

　　? 各類數(shù)據(jù)統(tǒng)一存儲到數(shù)據(jù)湖中

　　? 數(shù)據(jù)湖中的數(shù)據(jù)被導(dǎo)入數(shù)據(jù)倉庫，用于支持 BI 數(shù)據(jù)分析

　　? 數(shù)據(jù)湖中的開放格式數(shù)據(jù)直接支持 AI 應(yīng)用場景

　　這一架構(gòu)非常普遍，可以說目前絕大多數(shù)企業(yè)都采用了類似的方案。其中，Hadoop + OLAP 數(shù)據(jù)庫的組合是經(jīng)典代表。然而這種組合也存在明顯問題：

　　? 復(fù)雜的 ETL 鏈路，數(shù)據(jù)同步延時(shí)影響實(shí)效性

　　? 兩份數(shù)據(jù)口徑不一致、冗余的存儲成本

　　? Data Warehouse 私有格式無法高效支持 AI

　　Lakehouse是下一代數(shù)據(jù)分析架構(gòu)的標(biāo)準(zhǔn)

　　過去十多年里，分層架構(gòu)得到了廣泛應(yīng)用。在不斷發(fā)展的過程中，數(shù)據(jù)湖與數(shù)據(jù)倉庫也在不斷突破邊界，加速了兩者的融合。

　　從數(shù)據(jù)倉庫的演進(jìn)來看，新興的數(shù)據(jù)倉庫（如 Snowflake、Redshift、BigQuery）普遍采用云原生的存算分離架構(gòu)，并且支持直接查詢開放數(shù)據(jù)湖的能力。與此同時(shí)，隨著新興數(shù)據(jù)湖格式（如 Iceberg、Hudi、Delta Lake）的發(fā)展，數(shù)據(jù)湖的事務(wù)支持能力顯著提升，在性能方面，通過優(yōu)化數(shù)據(jù)分布、引入緩存機(jī)制等技術(shù)，數(shù)據(jù)湖的分析性能也得到了大幅改善。

　　2024 年，Lakehouse 的發(fā)展更是迎來了重要的里程碑：Databricks收購Tabular，并開源Unity Catalog；Snowflake開源Polaris，爭相搶占Lakehouse的入口。另外，就在三天前的AWS reinvent大會上，AWS發(fā)布了S3 Tablet Bucket，采用了Iceberg的開放格式。種種跡象表明，Lakehouse的時(shí)代已經(jīng)到來。

　　Lakehouse是什么？

　　到底什么是 Lakehouse？顧名思義，Lakehouse 結(jié)合了數(shù)據(jù)湖與數(shù)據(jù)倉庫的優(yōu)勢。2007 年，蘋果推出革命性的智能手機(jī) iPhone。iPhone 同時(shí)具備了 iPod、電話和網(wǎng)絡(luò)瀏覽器的功能，但它不僅僅是這些功能的集合，而是一個(gè)具備革命性用戶體驗(yàn)的新產(chǎn)品。同樣，Lakehouse也不是數(shù)據(jù)湖與數(shù)據(jù)倉庫的簡單組合，而是一種全新的架構(gòu)范式。

　　Lakehouse 通過融合數(shù)據(jù)湖與數(shù)據(jù)倉庫的優(yōu)勢，能實(shí)現(xiàn)“One Data，All Analytics”的業(yè)務(wù)價(jià)值。構(gòu)建 Lakehouse 后，你將擁有：

　　? 開放統(tǒng)一的數(shù)據(jù)存儲

　　? 基于一份數(shù)據(jù)，支持多樣化的 workload，服務(wù)企業(yè) AI、BI 的數(shù)據(jù)應(yīng)用

　　如何構(gòu)建Lakehouse？

　　那么，如何構(gòu)建 Lakehouse 呢？Lakehouse 數(shù)據(jù)分析架構(gòu)的核心由三個(gè)關(guān)鍵元素組成：存儲、Catalog和計(jì)算引擎。

　　1. 存儲：Lakehouse 通常以低成本的對象存儲作為數(shù)據(jù)底層，數(shù)據(jù)以開放格式存儲。目前流行的湖格式包括 Iceberg、Paimon、Hudi、Hive 和 Delta Lake。其中 iceberg 因其開放性、Paimon 因其實(shí)時(shí)的理念，在業(yè)界備受關(guān)注，是構(gòu)建 Lakehouse 的首選。

　　2. Catalog，湖上的數(shù)據(jù)統(tǒng)一以 Catalog 的方式呈現(xiàn)，這樣便于數(shù)據(jù)的統(tǒng)一管理，方便數(shù)據(jù)的訪問、共享與治理，當(dāng)前流行的 catalog 包括 HMS、AWS Glue Catalog 、Snowflake 開源的 Polaris Catalog、Databricks 開源的 Unity Catalog。從當(dāng)前趨勢看，業(yè)界正在逐步往 REST Catalog 方向演進(jìn)。

　　3. 計(jì)算引擎，計(jì)算引擎直接基于湖上的數(shù)據(jù)完成計(jì)算任務(wù)，服務(wù)不同等應(yīng)用場景；當(dāng)前 StarRocks 是數(shù)據(jù)湖上最適合 BI 數(shù)據(jù)分析的引擎。

　　基于StarRocks構(gòu)建Lakehouse

　　接下來我們聚焦到 StarRocks，探討如何基于 StarRocks 構(gòu)建 Lakehouse，只需三步：

　　1. 選擇開放的數(shù)據(jù)湖作為底座，例如 Iceberg 、 Paimon；

　　2. StarRocks 直接分析湖上的數(shù)據(jù)，滿足絕大部分場景的性能訴求；

　　3. 如果分析性能不滿足要求，則基于數(shù)據(jù)湖創(chuàng)建物化視圖加速。

　　我們來對比一下，這種范式與前面提到的分層架構(gòu)相比，帶來了哪些本質(zhì)變化：

　　1. 從 Data Pipeline 角度，分層架構(gòu)需要 ETL job 同步數(shù)據(jù)；lakehouse 方案無需維護(hù) ETL job。

　　2.從 Data Freshness 角度，分層架構(gòu)需要等待數(shù)據(jù)同步時(shí)間，影響時(shí)效性；而 lakehouse 的方案，入湖即可查。

　　3. 從 Data Reliabity 角度，分層架構(gòu)兩份數(shù)據(jù)，容易總成口徑不一致；而 lakehouse 是基于湖上的數(shù)據(jù)作為 single source of truth

　　4.從 Data Cost 角度，分層架構(gòu)會帶來數(shù)據(jù)冗余存儲，而 Lakehouse 只需要湖上的一份存儲。

　　Lakehouse獲得數(shù)據(jù)倉庫的查詢性能

　　Lakehouse 方案優(yōu)勢明顯，但其能否在數(shù)據(jù)湖上實(shí)現(xiàn)媲美數(shù)據(jù)倉庫的查詢性能，是一個(gè)核心挑戰(zhàn)。畢竟，如果在數(shù)據(jù)湖上的查詢足夠高效，企業(yè)自然更愿意避免復(fù)雜的數(shù)據(jù)遷移與維護(hù)流程。

　　StarRocks 查詢湖上查詢通常分為以下幾個(gè)階段：獲取數(shù)據(jù)湖元數(shù)據(jù)、構(gòu)建執(zhí)行計(jì)劃、讀取數(shù)據(jù)，并完成整個(gè)執(zhí)行 Pipeline。每個(gè)階段 StarRocks 都開發(fā)了相關(guān)的技術(shù)來讓湖上查詢變得更加高效，包括元數(shù)據(jù)緩存、CBO、分布式執(zhí)行計(jì)劃、I/O 合并、數(shù)據(jù)緩存、向量化執(zhí)行等。同時(shí) StarRocks 還支持在數(shù)據(jù)湖上創(chuàng)建物化視圖，利用 StarRocks 細(xì)粒度分區(qū)分桶、Colacated join、豐富的索引能力進(jìn)一步加速查詢。

　　通過上述關(guān)鍵技術(shù)，使得StarRocks直接查詢數(shù)據(jù)湖時(shí)實(shí)現(xiàn)媲美傳統(tǒng)數(shù)據(jù)倉庫的性能，基于StarRocks構(gòu)建Lakehouse的方案已經(jīng)在業(yè)界被廣泛實(shí)踐。

　　StarRocksx Iceberg構(gòu)建Lakehouse

　　小紅書的 REDBI 系統(tǒng)最初采用 ClickHouse，通過 ETL 將 Hive 和 OSS 的離線數(shù)據(jù)導(dǎo)入 ClickHouse 提供查詢服務(wù)。今年，他們成功升級為 StarRocks + Iceberg 的 Lakehouse 方案。無需再維護(hù)復(fù)雜的 ETL 流程，存儲成本下降50%，借助湖上數(shù)據(jù)zorder排序等技術(shù)，P90的延時(shí)下降到1/3，達(dá)到10s量級。

　　微信基于 StarRocks 和 Iceberg 構(gòu)建 Lakehouse 架構(gòu)。在離線和準(zhǔn)實(shí)時(shí)場景中，他們選擇將數(shù)據(jù)寫入 Iceberg 作為統(tǒng)一存儲，通過 StarRocks 直接分析，實(shí)現(xiàn)了數(shù)據(jù)新鮮度從天/小時(shí)級別提升到 10 分鐘級別，查詢延時(shí)則優(yōu)化到了亞秒級。在秒級實(shí)時(shí)場景中，由于 Iceberg 無法支持秒級實(shí)時(shí)寫入，他們將數(shù)據(jù)寫入 StarRocks 以實(shí)現(xiàn)實(shí)時(shí)分析，并異步降冷至 Iceberg 統(tǒng)一存儲；既滿足了秒級新鮮度的需求，整體存儲成本降低 65%。

　　StarRocksx Paimon構(gòu)建Lakehouse

　　在數(shù)據(jù)分析領(lǐng)域有一個(gè)不可能三角——數(shù)據(jù)新鮮度、資源開銷和查詢性能三者不可兼得。然而，F(xiàn)link + Paimon +StarRocks的實(shí)時(shí)湖倉鐵三角，正在逐步突破這種不可能，使得用戶在新鮮度、資源開銷、查詢性能上獲得一個(gè)很好的平衡。

　　1. 通過 Flink 保證數(shù)據(jù)的實(shí)時(shí)處理并寫入到數(shù)據(jù)湖。

　　2. Paimon 基于對象存儲獲得低存儲成本。

　　3. StarRocks 查詢 Paimon 數(shù)據(jù)獲得高查詢性能。

　　在上周結(jié)束的 Flink Forword 大會上，已經(jīng)有很多企業(yè)實(shí)踐了實(shí)時(shí)湖倉范式，包括阿里巴巴，喜馬拉雅，同程旅行，vivo 等眾多企業(yè)。阿里巴巴從傳統(tǒng)的離線數(shù)倉 + 實(shí)時(shí)的 Lambda 架構(gòu)，演進(jìn)為 Flink + Paimon + StarRocks 的實(shí)時(shí) Lakehouse 方案，在餓了么的業(yè)務(wù)中，已經(jīng)充分體現(xiàn)了這個(gè)方案的價(jià)值：

　　相比實(shí)時(shí)數(shù)倉：寫入時(shí)效性提升至 1-5 分鐘范圍；查詢延時(shí)僅增加 15%；存儲成本減少約 90%；同時(shí) Flink 計(jì)算開銷減少約 50%。相比離線數(shù)倉：寫入時(shí)效性從小時(shí)級縮短至分鐘級。支持增量更新能力實(shí)現(xiàn)流批一體；查詢延時(shí)從分鐘級降至秒級。

　　總結(jié)

　　回到今天的主題——Lakehouse is all you need。

　　? 對于數(shù)據(jù)工程師：無需維護(hù)復(fù)雜的 ETL Pipeline

　　? 對于數(shù)據(jù)分析師：可以實(shí)時(shí)高效地在數(shù)據(jù)湖上進(jìn)行探索和分析

　　? 對于數(shù)據(jù)科學(xué)家：直接訪問數(shù)據(jù)湖上的開放數(shù)據(jù)，構(gòu)建 AI 應(yīng)用

　　? 對于企業(yè)的經(jīng)營管理者：通過簡單高效的數(shù)據(jù)分析，實(shí)時(shí)推動企業(yè)經(jīng)營決策

　　Lakehouse 的確擁有非常大價(jià)值，而 StarRocks 作為最適合 BI 數(shù)據(jù)分析的 Lakehouse 引擎，可以讓數(shù)據(jù)湖中的數(shù)據(jù)高效地轉(zhuǎn)化為價(jià)值。Lakehouse is all you need,StarRockswill power it!

　　最后，特別感謝每一位用戶和開發(fā)者，感謝你們?yōu)?StarRocks 社區(qū)的每一條問題反饋、每一個(gè) PR，以及每一次布道活動。正是你們的努力，使得 StarRocks 不斷成長和進(jìn)步。我們也希望在社區(qū)的陪伴下，StarRocks 能為大家的公司帶來業(yè)務(wù)增長，同時(shí)助力個(gè)人實(shí)現(xiàn)技術(shù)成長。

　　讓我們攜手共進(jìn)，共同見證 Lakehouse 的發(fā)展浪潮。

免責(zé)聲明：以上內(nèi)容為本網(wǎng)站轉(zhuǎn)自其它媒體，相關(guān)信息僅為傳遞更多信息之目的，不代表本網(wǎng)觀點(diǎn)，亦不代表本網(wǎng)站贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性。如稿件版權(quán)單位或個(gè)人不想在本網(wǎng)發(fā)布，可與本網(wǎng)聯(lián)系，本網(wǎng)視情況可立即將其撤除。