在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，擁有海量數(shù)據(jù)并進(jìn)行高效、智能的處理與分析，已成為科技巨頭的核心競(jìng)爭(zhēng)力。字節(jié)跳動(dòng)，作為全球領(lǐng)先的內(nèi)容與信息平臺(tái)，其龐大的業(yè)務(wù)生態(tài)每日產(chǎn)生海量數(shù)據(jù)。為應(yīng)對(duì)這一挑戰(zhàn)，字節(jié)跳動(dòng)構(gòu)建并深度應(yīng)用了 EB 級(jí)的 Apache Iceberg 數(shù)據(jù)湖架構(gòu)，不僅為上層機(jī)器學(xué)習(xí)應(yīng)用提供了堅(jiān)實(shí)的數(shù)據(jù)基石，更在數(shù)據(jù)處理效率、存儲(chǔ)成本優(yōu)化及服務(wù)化支撐方面取得了顯著成果。

一、Iceberg 數(shù)據(jù)湖：機(jī)器學(xué)習(xí)的數(shù)據(jù)基石

Apache Iceberg 作為一種開(kāi)源的高性能表格式，解決了傳統(tǒng)數(shù)據(jù)湖（如直接基于 HDFS）在數(shù)據(jù)一致性、 schema 演進(jìn)、事務(wù)支持及高效查詢上的諸多痛點(diǎn)。字節(jié)跳動(dòng)將其作為核心數(shù)據(jù)湖表格式，構(gòu)建了覆蓋推薦、廣告、搜索、內(nèi)容安全等核心業(yè)務(wù)的統(tǒng)一數(shù)據(jù)底座。

對(duì)于機(jī)器學(xué)習(xí)而言，這一數(shù)據(jù)基石至關(guān)重要：

1. 訓(xùn)練數(shù)據(jù)管理：機(jī)器學(xué)習(xí)模型的訓(xùn)練依賴于高質(zhì)量、大規(guī)模的歷史特征數(shù)據(jù)。Iceberg 的 ACID 事務(wù)保證確保了訓(xùn)練數(shù)據(jù)的一致性視圖，避免了因數(shù)據(jù)更新而產(chǎn)生的“臟讀”問(wèn)題。其精細(xì)化的分區(qū)策略與隱式分區(qū)功能，使得數(shù)據(jù)工程師和算法工程師能夠高效地定位和讀取特定時(shí)間范圍、特定用戶群體或特定內(nèi)容類型的訓(xùn)練樣本。
2. 特征工程與存儲(chǔ)：特征倉(cāng)庫(kù)是機(jī)器學(xué)習(xí)系統(tǒng)的核心組件。利用 Iceberg 的 Schema 演進(jìn)能力，可以安全、靈活地添加、刪除或修改特征列，而無(wú)需重寫(xiě)整個(gè)歷史數(shù)據(jù)表，這極大地支持了特征迭代與實(shí)驗(yàn)的敏捷性。Iceberg 對(duì) Parquet、ORC 等高效列式存儲(chǔ)格式的深度支持，使得特征數(shù)據(jù)的讀取能夠“按需取列”，大幅減少了 I/O 開(kāi)銷，加速了特征抽取流程。
3. 線上/線下數(shù)據(jù)一致性：通過(guò) Iceberg 管理的特征表，可以作為線下訓(xùn)練和線上推理共享的唯一數(shù)據(jù)源，確保了特征計(jì)算邏輯的一致性，有效規(guī)避了“訓(xùn)練-服務(wù)偏差”，提升了模型上線后的穩(wěn)定性和效果。

二、核心優(yōu)化實(shí)踐：性能、成本與效率

面對(duì) EB 級(jí)的數(shù)據(jù)規(guī)模，字節(jié)跳動(dòng)對(duì) Iceberg 數(shù)據(jù)湖進(jìn)行了一系列深度優(yōu)化：

1. 數(shù)據(jù)布局優(yōu)化：

• 智能分區(qū)與排序：結(jié)合業(yè)務(wù)查詢模式（如頻繁按天、按用戶查詢），設(shè)計(jì)高效的分區(qū)策略。在數(shù)據(jù)寫(xiě)入時(shí)引入 Z-Order 等多維排序技術(shù)，將相關(guān)聯(lián)的數(shù)據(jù)（如同用戶 ID 的行為記錄）在物理上聚集存儲(chǔ)，顯著提升了查詢性能，減少了掃描數(shù)據(jù)量。

• 小文件合并：流式數(shù)據(jù)持續(xù)寫(xiě)入極易產(chǎn)生海量小文件，嚴(yán)重拖累查詢性能。字節(jié)跳動(dòng)實(shí)現(xiàn)了自動(dòng)化的后臺(tái)小文件合并任務(wù)，根據(jù)文件大小、數(shù)量等閾值觸發(fā)合并操作，保持?jǐn)?shù)據(jù)湖的“健康度”。

1. 查詢加速與索引：

• 利用 Iceberg 的元數(shù)據(jù)（如 Manifest 文件）進(jìn)行高效的剪枝，快速跳過(guò)不相關(guān)的數(shù)據(jù)分區(qū)和文件。

• 探索并集成布隆過(guò)濾器等二級(jí)索引，在文件級(jí)別進(jìn)一步過(guò)濾無(wú)關(guān)數(shù)據(jù)行，為點(diǎn)查和特征回填等高并發(fā)查詢場(chǎng)景提供支持。

1. 存儲(chǔ)成本管控：

• 數(shù)據(jù)生命周期管理 (DLM)：自動(dòng)化識(shí)別冷、熱、溫?cái)?shù)據(jù)，并結(jié)合分層存儲(chǔ)策略（如熱數(shù)據(jù)存于高性能 SSD/內(nèi)存，溫?cái)?shù)據(jù)存于標(biāo)準(zhǔn) HDD，冷數(shù)據(jù)歸檔至對(duì)象存儲(chǔ)）。Iceberg 的表格式抽象使得在不同存儲(chǔ)介質(zhì)間遷移數(shù)據(jù)對(duì)上層應(yīng)用透明。

• 數(shù)據(jù)壓縮與編碼優(yōu)化：針對(duì)不同類型的特征數(shù)據(jù)（如稀疏向量、枚舉值），采用最合適的壓縮算法和編碼方式，在保證查詢性能的同時(shí)最大化節(jié)約存儲(chǔ)空間。

三、數(shù)據(jù)處理與存儲(chǔ)支持服務(wù)：平臺(tái)化與自助化

為使業(yè)務(wù)和算法團(tuán)隊(duì)能夠高效、便捷地利用這一龐大的數(shù)據(jù)湖，字節(jié)跳動(dòng)構(gòu)建了強(qiáng)大的數(shù)據(jù)處理與存儲(chǔ)支持服務(wù)體系：

1. 統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)：提供了從數(shù)據(jù)接入、ETL 開(kāi)發(fā)、任務(wù)調(diào)度、質(zhì)量監(jiān)控到數(shù)據(jù)目錄（Data Catalog）的一站式服務(wù)。用戶可以通過(guò) SQL 或可視化界面輕松地創(chuàng)建、管理 Iceberg 表，查詢數(shù)據(jù)血緣，并訂閱數(shù)據(jù)質(zhì)量報(bào)告。
2. 高性能查詢引擎集成：數(shù)據(jù)湖的價(jià)值在于被高效查詢。字節(jié)跳動(dòng)將 Iceberg 與 Presto/Trino、Spark、Flink 以及內(nèi)部自研的查詢引擎深度集成，為不同的計(jì)算場(chǎng)景（即席分析、批處理、流批一體）提供統(tǒng)一的入口和最優(yōu)的執(zhí)行性能。
3. 機(jī)器學(xué)習(xí)特征平臺(tái)：基于 Iceberg 數(shù)據(jù)湖，構(gòu)建了特征平臺(tái)，提供特征定義、計(jì)算、存儲(chǔ)、上線和監(jiān)控的全鏈路能力。算法工程師可以自助完成特征注冊(cè)、回溯計(jì)算、生成訓(xùn)練樣本集，并將特征表一鍵發(fā)布為線上推理服務(wù)可訪問(wèn)的存儲(chǔ)視圖。
4. 可觀測(cè)性與治理：提供了全面的監(jiān)控大盤(pán)，涵蓋數(shù)據(jù)湖的存儲(chǔ)量增長(zhǎng)、文件分布、查詢熱度、任務(wù)耗時(shí)、成本消耗等維度。結(jié)合智能告警，幫助運(yùn)維和開(kāi)發(fā)團(tuán)隊(duì)快速發(fā)現(xiàn)和解決問(wèn)題。通過(guò)數(shù)據(jù)治理工具管理元數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全與權(quán)限，確保數(shù)據(jù)湖的合規(guī)、有序運(yùn)行。

###

字節(jié)跳動(dòng) EB 級(jí) Iceberg 數(shù)據(jù)湖的實(shí)踐表明，一個(gè)設(shè)計(jì)優(yōu)良、深度優(yōu)化的數(shù)據(jù)湖架構(gòu)，是規(guī)?；瘷C(jī)器學(xué)習(xí)應(yīng)用取得成功的關(guān)鍵基礎(chǔ)設(shè)施。它不僅解決了海量數(shù)據(jù)的存儲(chǔ)與管理問(wèn)題，更通過(guò)性能優(yōu)化與成本管控，以及全面的平臺(tái)化服務(wù)支持，將數(shù)據(jù)高效、可靠、經(jīng)濟(jì)地轉(zhuǎn)化為機(jī)器學(xué)習(xí)模型的生產(chǎn)力，持續(xù)驅(qū)動(dòng)著字節(jié)跳動(dòng)各項(xiàng)業(yè)務(wù)的智能進(jìn)化與創(chuàng)新。隨著實(shí)時(shí)機(jī)器學(xué)習(xí)、大模型訓(xùn)練等場(chǎng)景的深入，對(duì)數(shù)據(jù)湖的實(shí)時(shí)性、吞吐量和跨域協(xié)同能力將提出更高要求，Iceberg 及其生態(tài)的持續(xù)演進(jìn)值得期待。