云器科技Lakehouse湖仓一体小红书数据架构解决方案_通用增量计算数据重构降本方案-云巴巴

立即咨询

立即试用

商务合作

云器科技Lakehouse小红书数据架构解决方案

云器科技 Lakehouse 湖仓一体小红书数据架构解决方案，集成通用增量计算数据重构降本方案核心能力。可实现小红书数据湖仓一体化管理，通过增量计算与数据重构优化存储成本，提升数据处理效率，助力精准运营决策。

立即咨询

首页

数字化产品

存储

云器科技Lakehouse小红书数据架构解决方案

小红书数据架构

数据分析

BI、报表、自助分析;洞察数据

数据产品

各种面向广告主、商家、博主的数据平台

特征画像

提供用户画像、特征标签·作为推荐搜索、商业等算法策略的输入

Data Agent

数据提取、增强分析、智能问答、分析报告

基于ClickHouse的即席分析 icon

成本高、扩容难、数据时效性差。

Lambda架构&存算分离 icon

存算分离

延长了数据集的生命周期降低成本

Lambda架构

提升数据时效

应用场景-用户行为分析平台 icon

关联优化

用户特征X行为分析

物化视图优化

6000亿->100亿覆盖70%查询

索引构建优化

用户细查

2.0 Lambda&存算分离总结 icon

业务收益：秒级时延分析、200+产品业务高度自助、万亿数据规模10S响应。

3.0 Lakehouse icon

如何让全量的数仓数据资产发挥更大价值，支持更丰富的业务场景分析

业内基本形成共识的解决方案：Lakehouse，基于湖上建仓。

2.0 问题（架构的割裂）：2套数据存储、2套计算框架、CK缺少ETL能力

3.0 Lakehouse 技术选型 icon

Iceberg：最早22年用作用户日志的存储格式，目前来看lceberg成为事实上的数据湖标准

StarRocks：20年作为实时数仓构建引入小红书，目前已经有大量集群提供线上服务。

Flink入湖、Iceberg数据存储、Spark业务加工、StarRocks查询加速

3.0 Lakehouse查询加速：Z-Order智能排序 icon

3.0 查询性能收益 icon

数据文件压缩率相比CK提升1倍
查询P90性能提升大约3倍。

3.0 应用场景:业务经营数据自助 icon

逻辑视图

收敛数据集数量，统一口径定义，降低理解成本
提升数据集业务覆盖度，降低数仓ETL加工成本
按需智能裁剪

物化加速

构建流程：发现->生产->消费
BitMap去重优化，告别传统CUBE加工模式
直接用DWS表搭建看板业

3.0 Lakehouse 收益 icon

业务收益
覆盖业务体系核心场景，业务用户使用渗透>70%覆盖核心分析场景

官方数据集收敛到300个，
当前湖仓数据整体规模超过300PB，日增4PB

4.0 增量计算

有没有一套计算框架实现了类似Snowflake的Dynamic Table能力？

一个实时任务的开发，往往是一个离线任务开发工作量的3倍左右;且会面临数据回刷、资源锁定、任务稳定性、带状态恢复等问题

4.0 增量计算-云器POC icon

4.0 增量计算-云器合作项目 icon

高效的引擎处理性能。

功能验证

1、对当前Spark任务作业改写成本不高

2、数据正确性验证通过
3、可以在freshness间隔与成本间做灵活调节

性能验证（FreshPer5min）

1、纯增量表相比离线Spark性能提升1-2倍

2、全量订单表更新，成本与Spark齐平

3、实时汇总任务，资源成本约为Flink的1/4

4.0 应用场景-实时实验分析 icon

标准数仓开发模式，对离线Spark业务逻辑快速复刻到增量计算

支持非结构化数据存储，高效分析
丰富索引能力，比如倒排索引优化，DataSkipping效率提升10倍

一体化的架构，让整个链路更清晰，开发维护成本更低。

4.0 增量计算-业务效果 icon

当前已上线社区、搜索、商业、电商多个业务场景，成为算法同学日常工作的必备数据分析能力。

计算模式对比&应用场景 icon

增量计算当前在分钟级时延的数据场景在资源消耗、开发成本已经数据更新频率上达到了很好的平衡;接下来湖仓模式逐步的普及下，这种计算模式也会逐步应用在更多的数据场景中。

展望

湖仓一体：lceberg生态下更快速的查询性能以及更高的数据新鲜度技术优化
流批一体：持续探索增量计算和现有的离线加工计算框架融合，持续推进 Kappa架构在生产环境下的方案实践
AI自助：探索在Lakehouse架构下AI的适用场景和最佳实践，进一步降低业务用数门槛，更多挖掘数据价值。

什么是通用增量计算？ icon

1、“三角”表达的是多样的业务需求与平衡
2、为了满足这种多样的平衡，分别诞生了批、流、交互引擎，以及Lambda 架构

什么是通用增量计算？ icon

1、“三角”表达的是多样的业务需求与平衡
2、为了满足这种多样的平衡，分别诞生了批、流、交互引擎，以及Lambda 架构
3、“数据不可能三角”不可能被打破，但可以用更简化的架构满足

统一的数据，
统一的计算表达

灵活的调节能力（Eg.只修改配置）

媲美当前各个平衡点最好的性能

4、如何实现一套Kappa架构满足上述需求，是个10年的问题
5、上述挑战，在AlInfra中同样存在

什么是通用增量计算？ icon

Benefits of Medallion Architecture

Benefits of Medallion Architecture
Flexibility: Supports diverse use cases, from raw data storage to advanced analytics.
Data Quality Management: Each layer progressively enhances dataquality, ensuring trustworthiness
Cost Efficiency: Allows organizations to prioritize resources for high.
value transformations in the Gold layer.
Incremental ETL: Data can be processed in stages, reducing complexity and improving scalability

什么是通用增量计算？ icon

通用增量计算（Generic Incremental computing，GIc）是一种同时面向高性能和低延迟优化的新计算模式。当上游数据在不断发生变更的时候，通过只计算数据变化的部分，与之前的查询结果合并，快速的生成对应的最新査询结果。是一种以最小的运算成本最快的速度计算出最新的查询结果的新技术。。

系统架构：淘汰Lambda，实现Kappa

一套引擎，提供面向数据新鲜度、查询性能和资源成本三方面的多种平衡点，支持在平衡点之间做简单灵活的调节。

计算模式：统一流、批、交互三种模式

统一的接口，统一的语法/语义，统一且开放的数据表达（使得可以被其他引擎/工具消费）。并保持经典数据建模形态：
1、数据分层（例如经典：ODS、DWD、ADS分层）
2、开放可查询
3、基于MVCC的数据可重算。

数据表达：统一语法/语义，支持Medellion Architecture

面向通用场景，通过一套增量计算逻辑，统一当前的流、批、交互三种模式。

通用框架：同时支持Data+AI得负载

是一套通用分布式架构，支持非关系计算支持多种语言：SQL+AlFunc，Python/PySpark。

通用增量计算的4个标准 icon

Standard SQL with Full Syntax/Semantics
One Standard and Unified SQL

支持完整语法和语义（非确定性函数除外）
支持UDF（替换批处理）

Open Format
数据采用标准的表达方式，可以被其他引擎高效消费（例如，采用标准的lceberg+Parquet格式。其他引擎可以直读）
能支持标准的数仓模型和数据分层（E.g.当前主流的维度建模分层ODS/DWD/ADS）。