安全可信

· 通过 SUSE Security 实现零信任安全；
· 深入了解GPU 和Token使用情况，以优化成本和提高A 工作负载性能。
自由选择

· 运行任何 LLM 的桥梁；
· 经过验证和精选的热门开源组件和支持库；

· 在云中、混合云、本地或物理隔离环境中部署
可扩展性

· 旨在促进创新
· 适应新的业务需求
· 支持可扩展性的云原生设计。

了解 AI 应用

跟踪应用交互：尽早发现瓶颈。
实时可见性：使用工具代码来捕获跟踪和指标。

统一标准：使用OpenTelemetry 进行一致的数据收集。

SDK 的使用：轻松监控和优化各种环境。

Token使用情况：跟踪每个请求的令牌消耗情况。

提示成本：监控每个提示的成本以确保透明度；

框架和模型：确定正在使用的框架和模型；

数据库：观察数据库使用情况以确保数据流效率。

了解 AI 基础设施

AI 组件依赖关系：可视化模型、系统、数据库及其基础设施依赖关系；

GPU 关联：跟踪每个 AI工作负载的 GPU 利用率；

工作负载分配：查看工作负载的运行位置和方式。