日志服务(Log Service,简称 SLS)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。
功能:
用途:数据清洗(ETL)、流计算(Stream Compute)、监控与报警、 机器学习与迭代计算。
实时索引、查询分析数据。
用途:DevOps/线上运维,日志实时数据分析,安全诊断与分析,运营与客服系统。
稳定可靠的日志投递。将日志中枢数据投递至存储类服务进行存储。支持压缩、自定义Partition、以及行列等各种存储方式。
用途:数据仓库 + 数据分析、审计、推荐系统与用户画像。
日志服务的架构如下图所示:
帮助您快速收集日志的Agent。其特点如下所示:
采用LVS + Nginx构建的前端机器。其特点如下所示:
后端是分布式的进程,部署在多个机器上,完成实时对Logstore数据的持久化、索引、查询以及投递至MaxCompute。整体后端服务的特点如下所示:
功能优势
日志服务产品在日志处理的三种场景下具有以下成本优势:
以下是在计费模型下,日志服务功能与自建方案的对比,仅供参考。
日志中枢(LogHub vs Kafka)
日志存储与查询引擎
应用场景
日志服务的典型应用场景包括:数据采集与消费、数据清洗与流计算 (ETL/Stream Processing)、数据仓库对接(Data Warehouse)、日志实时查询与分析。
通过日志服务LogHub功能,可以大规模低成本接入各种实时日志数据(包括Metric、Event、BinLog、TextLog、Click等)。
方案优势:
日志中枢(LogHub)支持与各种实时计算及服务对接,并提供完整的进度监控,报警等功能,并可以根据SDK/API实现自定义消费。
日志投递(LogShipper)功能可以将日志中枢(LogHub)中数据投递至存储类服务,过程支持压缩、自定义Partition、以及行列等各种存储格式。
实时查询分析(LogAnalytics)可以实时索引LogHub中数据,提供关键词、模糊、上下文、范围、SQL聚合等丰富查询手段。