智采CloudProbe的“破”与“立”：构建云原生2.0的全栈统一可观测性

云原生时代，业务系统架构持续变革。伴随着云原生逐渐从以“资源为中心的1.0时代”，迈入“以应用为中心的2.0时代”，微服务架构已经成为企业新一代业务系统发展的主要方向。

 

 

云原生2.0时代，需要云网全栈式的统一可观测

 

在微服务架构下，业务系统模块各自独立，相互之间通过Service Mesh通信。拆分后的微服务架构可以独立运行，并通过微服务编排技术、微服务框架等组合成完整功能的业务系统，让使用者可以根据需要灵活地纵向扩展和缩减IT资源。同时，还可以快速预配新的应用程序，提高底层基础架构的可靠性。至此，运维工作也逐渐分化为传统运维与平台运维。在面向云原生的运维场景中，需要以应用为中心，支持纵向的流量采集与管理能力，构建云网全栈式的统一可观测。

 

（云原生2.0运维需要支持纵向的流量采集与管理能力）

 

在实际运维场景中，要实现从底层基础架构到上层应用的统一管理，就要具备纵向流量的采集与管理能力。但在此过程中往往会面临以下挑战：

1. 由于云上IP地址已经不能作为标识应用的特征，使得原有按照网络五元组采集网络数据的策略再无用武之地，云上网络黑盒对流量采集带来极大挑战；

2. 采集后的流量如果不进行预处理与加工分析，就会导致流量传输丢包率过高、云网开销过大等一系列问题；

3. 随着云流量暴涨，云上采集节点数量也呈指数级增长，企业需要部署大量的采集器，而如何管好采集器是云网采集分析能力落地的重要前提；

4. 为满足云上业务应用分析的需求，流量采集工具需要精准对接云平台、获取云资源清单。因此，需要具备自管理与对接云平台管理的能力。

智采CloudProbe

三大关键能力，破局云原生2.0流量采集难题

 

云原生2.0时代，应用已实现高度自动化，构建全栈统一可观测，就需要建立资源与应用的统一可观测视角。而可靠的云流量采集是实现云原生可观测性的重要基础，却也恰巧是最具挑战的环节。首先，流量采集需要攻破云上黑盒，实现从底层宿主机、云主机到容器，乃至上层应用的纵向支持；其次，流量传输与处理会对云网IO与业务应用等产生极大影响，需要相应的流量处理工具与机制；第三，对于采用多云架构或者混合云架构的企业而言，一方面，流量采集器的部署规模可达到上万台，需要对流量采集器进行管理；另一方面，还需要对接各大云平台精准获取云资源，为云应用可观测做好准备。

 

破局云原生2.0时代的流量采集难题，天旦新一代智能云网流量采集与管理产品“智采 CloudProbe”应运而生。“智采”主要聚焦云网流量全栈、全量、全链路的采集与汇聚，基于云原生的资源与应用视角，通过精准的流量控制，广泛覆盖源端流量、末端流量，实现云分流、云适配与云可控，满足精细化的业务运营管理需求，为实现云原生可观测性提供基础。

 

“智采”由三大关键组件构成：

• 流量采集器Netis CloudProbe Agent：对云网流量进行全栈、全量、全链路的采集，攻克云上网络黑盒；

• 流量中继器Netis CloudProbe VTAP：对采集获取的流量进行多层处理与加工，减少云资源消耗、提高传输效率；

• 流量管理控制平台Netis CloudProbe Manager：对流量采集器进行管理，并充分对接云平台，实现云资源与应用的可视化、可观测。

（“智采”三大关键组件）

 

智采可广泛支持各类场景的数据包消费需求，包括：业务性能监控、网络性能监控、数据库性能监控、安全审计等。基于各种应用场景下的部署需求，可灵活组合CloudProbe Agent、CloudProbe VTAP、CloudProbe Manager等应用产品。

 

与此同时，“智采”通过以上三大关键组件，赋予云流量采集与管理三大关键能力：

• 云分流：“智采”通过API获取云资源清单，并按照云内资源定义（VPC、Vswitch、Namespace、Service等），实现智能流量过滤。“智采”支持对流量按需裁切、去重，并通过GRE、VXLAN隧道和可靠性传输队列进行流量分发；

• 云适配：“智采”适配云原生业务环境，通过主动机制，实现注册、策略拉取的轻量化交付，规避云网限制，保障云网安全持续运行。同时，采集过程中通过数据包染色机制，实现云内资源的重定向，简化后端消费平台的读取复杂度，为后端上云提供坚实的基础；

• 云可控：“智采”采用零业务侵入、零代码写入的部署方式，并通过自限熔断算法，保障性能监控产品在云内的稳定运行。为避免对云上业务的侵扰，“智采”的终端采集器采用非业务侵入式部署方式，规避对的业务持续性影响。

 

（“智采”三大关键能力）

 

 

 

 

 

天旦核心技术驱动，让全栈统一可观测可靠落地

 

云原生环境，资源时刻保持动态变化。流量采集器必须在获取资源实时动态变化的同时，从容应对云上采集对象的指数级增长。此外，云流量在传输的过程中时长会发生丢包等现象，流量采集与管理工具必须采取相应策略保障传输的可靠性。

 

而天旦对于云环境可观测性的技术研究已有多年。早在2018年初，天旦就已经在GitHub上启动了Netis PacketAgent开源项目，为云原生环境下的流量采集提供可靠的技术保障。在Github上，Netis PacketAgent已收获891颗Star、156个Fork，并持续发布了20个Release版本。目前，Netis PacketAgent已适配CentOS、SUSE、Ubuntu、Windows等操作系统，支持多种云底座以及云原生场景下的流量采集。

 

（来源：Github，Netis Packet-Agent开源项目进展）

 

在“智采”产品中，天旦通过“两大核心机制”&“一套技术标准创造”，赋能“智采”卓越的云流量采集能力，灵活应对云资源动态变化、降低传输丢包率、降低云网资源开销等，保证“智采”可靠落地全栈统一可观测的能力。

 

• 核心机制：动态扩缩适配机制

  “智采”通过订阅机制，可快速获取资源的动态变化，并及时更新监控信息，提升监控的完整度。同时，为了更好地适配业务场景，“智采”采用云上Service资源视角替代服务端IP。全新的云原生可观测性流量采集，从容应对云上采集对象的指数级增长。 

• 核心技术：可靠性传输机制

  不可靠的网络传输会导致数据丢包，进而影响运维监控的准确性。“智采”采用可靠性传输机制并结合队列机制，将原来1%的误差降低到0.1%以下，准确率提升了10倍以上。 

• 全新技术标准：Netis Telemetry技术

  作为天旦推出的全球首个全栈可观测性技术标准，Netis Telemetry关注业务应用与服务的整体可观测性，为实现云原生可观测提供技术底座与数据支撑。Netis Telemetry采用列式封装技术，经过天旦独创的Teleport传输协议来实现大吞吐量、高并发量的采集数据的传输与存储。基于Netis Telemetry技术，“智采”不断优化数据格式，在信息密度提升10倍的同时，云网开销实现10倍下降。

 

由于云原生底层环境复杂多变，为了最大化发挥流量采集的性能与效率，“智采”针对不同环境采用不同的采集技术与策略。譬如，针对linux环境，“智采”通过解决eBPF受限于特定kernel的限制性问题，采集性能最高可达单虚拟机/pod 10Gbps以上。

 

此外，“智采”还可与传统云下TAP设备融合，实现跨越云上云下的一体化全链路流量采集与管理，实现云上云下的业务串联，为全链路监控与分析提供保障，建立资源与应用统一的云原生可观测视角，真正构建全栈统一的可观测能力，护航云原生2.0时代的云上业务性能，冲上云霄。

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里！