立即咨询

电话咨询

微信咨询

立即试用
商务合作

永洪BI大数据分析平台V10.0路透丨性能再升级,多重优化更稳定

2022-08-04

在本期V10.0路透中,我们将与大家聊聊永洪BI新版本的性能与稳定性优化问题。

对于BI产品来讲,性能代表着运行速度和运行质量,永洪BI的性能在实现行业领先的同时再次向打破性能极限而努力,为用户带来更快的分析响应速度和实时处理数据速度。同时,稳定性也是企业最关注的BI要素之一,频繁宕机及故障必然会影响企业的整个IT环境,以此,永洪BI则更加重视在稳定性上精益求精,保证永洪BI在跑得更快的同时,也行得更稳!

永洪科技在V10.0版本持续解决企业客户常见的运维痛点,通过限制、隔离、存储优化等一系列技术手段,达到系统可管控,并持续健康稳定运行,提高BI的使用体验。

 

 

高危操作进行确认,

确保每次操作都是必须的

 

●重命名确认

修改名称会弹出名称修改框,避免误修改数据源、数据集等资源或文件夹的名称。而修改的动作在BI的资源比较多的情况下,可能会导致长时间的底层同步(此同步性能问题在V10.0版本中也得到了很好的解决)。

●移动目录确认

移动资源和目录会进行弹窗确认,避免操作过快误将数据源、数据集、报告、文件夹移动到其他地方。

●删除驱动确认

删除驱动会进行弹窗确认,避免误点击驱动的删除按钮,将驱动直接删除。

 

隔离有问题的内容和操作,

确保资源和系统健康

 

●组件隔离

可以将错误限制到组件级别,避免单组件解析失败导致整个报告白屏。

●错误任务标记,让重启能快速恢复

对内存等消耗大造成系统宕机的问题任务进行标记,重启之后将临时禁止此类任务的执行,避免反复出现宕机,同时提供问题任务清单,便于后续排查。

 

监控预警优化,

确保可方便全面的管控

 

●监控报告优化

在集群状态下可以在任意C节点看到全部C的状态和数据。

●健康检查优化

优化健康检查报告,提供系统层面的运行数据统计分析,协助日常的运维。

●关键操作记录

关键操作要事先预记录、操作完之后记录完成。更多监控信息的记录,请见上期的“集成和安全”部分。

FastQueryPool和SlowQueryPool告警阈值设置

V9.4版本,通过FastQueryPool和SlowQueryPool对慢查询和快查询做隔离,分而治之,达到快查询能立即执行,慢的查询能排队执行,使产品不会因为某一部分性能较差的查询从而导致整体查询速度的下降。V10.0版本,增加FastQueryPool和SlowQueryPool使用率预警。默认情况下,FastQueryPool使用率达到100%、SlowQueryPool使用率达到95%,并且持续大于3分钟,系统告警知会相关人。

 

性能优化

 

●资源ID化

实现底层资源的ID化存储,可以通过ID实现资源的引用。提升移动/重命名目录后的同步效率。解决资源同步慢导致的性能和稳定性问题。

●资源的序列化和反序列化优化

BI的资源(数据源、数据集、报告)等都是将对象序列化为二进制流存储到配置数据库中,使用时再读库并进行反序列化。通过优化(减少重复和冗余)减少流的大小,可以有效提升读写库的时间开销,并提升序列化和反序列化的速度。

●优化Tree的加载性能

数据源、数据集、报告、实验等各类Tree在数据量大时加载慢,优化数据量大的情况下Tree的加载性能。

●血缘分析存储结构优化,提升处理和查询速度

结合资源ID化,使用资源ID作为血缘节点的ID。

优化存储结构,V9.4版本血缘关系使用二维表将血缘关系的各个节点之间都存储一条依赖关系,一条依赖关系在数据库表中占用一行,这样会导致数据库表的行数越来越大。

V10.0使用树形结构来描述血缘关系中的依赖关系,根据数据流向划分为输入树和输出树。输入树表示当前资源的数据来源,即当前资源依赖哪些资源,输出树表示当前资源的数据输出,即哪些资源依赖当前资源,一个资源分别对应一个输入树和输出树,在数据库表中使用一行记录就可以存储一个资源的依赖关系,极大地减少了存储的行数。这样的存储结构在更新资源血缘关系时,大大减少了数据库查询和更新的次数,也减少了不同事务之间的锁竞争,提升了处理效率。同时也加快了血缘关系的查询速度,V10.0之前查询资源的血缘关系需要多次地联表查询,V10.0后只需要一条SQL根据资源ID就可以查询到资源的血缘关系。V10.0不再对血缘关系的依赖关系进行分表,使用LINEAGE_RELATION来存储所有资源的依赖关系,减少了数据库表的数量。

●自由表动态计算内存占用优化

优化自由表格的计算逻辑,降低在自由表包含大量子区域的情况下的内存消耗。

●在用户量很大或资源很多时,调度任务打开作业页面性能慢

优化UI,确保按需展示信息。以前选择数据集、数据源或报告都会直接展开全部,现在是按Tree的方式展示。以前赋予权限选择用户的界面是下拉框,打开作业即开始加载用户,现在是点击编辑Icon才加载用户。

●WebAPI-setPermission性能优化

针对集成场景,在分享报告等资源后,需要调用setPermission接口授权,V10.0大幅优化了此接口的性能。

限制数量和流量

 

●WebAPI调用频率限制

可以配置同一时刻可以执行的API总数,超过这个数目的API调用不进入线程池。

●VooltDB抽数限制

对于数据抽取的场景,限制抽数行数,实现抽取最大数据量的两级管理,避免不可控的数据量造成的稳定性问题。

●新增max.grid.rows属性

控制后期计算的数据集的总行数,超过报错。避免由于不合理操作形成的大数据量冲击。

●max.load.rows控制逻辑优化

统一系统中max.load.rows的控制逻辑,避免调度任务导出相关的行为导致的大数据量压力。

●提交按钮以及文本框点击后(触发提交或刷新等事件),未完成前使按钮不可用。

避免重复相同的提交导致的资源消耗,或者重复提交引起的其它问题。

以上就是关于V10.0版本性能和稳定性优化的全部内容,如果您有比较期待的功能或者使用上的问题反馈,欢迎评论留言,为我们留下宝贵的意见。永洪科技也将继续深耕数据技术,为实现释放数据价值,人人都是数据分析师的美好愿景而不断努力。

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

热门数字化产品

SaleSmartly智能客服工具SaleSmartly智能客服工具中一个面板回复所有渠道咨询,随时随地,一键快速回复大量咨询,SaleSmartly解决都是外国客人咨询,需配备懂外语的客服而导致 成本高的问题。通过客户的提问或行为,自动回复和解决其常见问题。可通过个性化的设置,对用户不同关键词或行为, 触发不同的自动回复及自动化流程。
上讯信息敏捷数据脱敏系统SDM敏捷数据管理平台软件(ADM)是上海上讯信息技术股份有限公司(以下简称“上讯信息”)自主研发的,主要面向金融、运营商、政府、能源、医疗等行业打造的全生命周期数据安全管理软件产品,用于数据备份、备份数据恢复验证、测试数据交付和静态数据脱敏等应用场景,可为企业上、中、下游数据的高效使用和安全管控提供一套整体解决方案。
阿里云云服务器ECS云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。 专业的售前技术支持,协助您选择最合适配置方案
纷呈科技电商开票软件纷呈科技电商开票软件实现多平台店铺订单一站式自动开票,无需托管税盘,企业自行管理,自动同步店铺订单及订单开票信息,在线批量、自动完成订单开票,自动回传发票至各电商平台,买家实时下载,覆盖所以税盘类型,多种模式操作,可自动、批量、单个实现订单开票。
网易瑶台网易瑶台,通过AI算法加持,只需要一张照片即可生成个性化形象,并支持200+维度的自由捏脸,打造元宇宙专属虚拟角色。基于分布式服务框架,支持十万虚拟角色实时在线,通过AOI(感兴趣区域)机制,实现万人同屏下虚拟角色间可见、可交互。
为你推荐
如何为企业选择合适的敏捷研发协同平台?TAPD推荐指南

在数字化转型的浪潮中,企业面临着选择合适敏捷研发协同平台的挑战。一个合适的平台不仅能提升研发效率,还能保障项目质量,快速响应市场变化。本文将探讨选择敏捷研发协同平台时应考虑的关键因素,并特别推荐腾讯TAPD作为解决方案。

2024-12-06
TAPD与其他敏捷工具相比有何优势?

在敏捷项目管理工具的激烈竞争中,腾讯敏捷项目管理平台(TAPD)以其全面的功能和独特的优势成为众多企业的首选。本文将深入探讨TAPD相较于其他敏捷工具的独特优势,以及这些优势如何助力企业提升研发效率和项目管理能力。

2024-12-06
选择敏捷研发协同平台要避免哪些常见误区?

在数字化转型的浪潮中,敏捷研发协同平台成为了企业提升研发效率、保障项目质量的关键工具。然而,在选择这一平台时,企业往往会陷入一些常见的误区。本文将探讨这些误区,并提供清晰的逻辑和明确的思路,帮助企业做出更明智的选择。

2024-12-06
如何选择适合金融行业的人事管理软件?

金融行业在数字化转型的浪潮中,面临着组织管理、风险管控、职级晋升等一系列挑战。选择合适的人事管理软件对于提升效率、确保合规性以及优化人才管理至关重要。以下是两款专为金融行业设计的人事SaaS产品,它们以其独特的功能和优势,帮助金融企业实现数字化转型和人力资源管理的优化。

2024-12-06
如何完善支付安全流程?看IP 数据云关键助力

在如今电子支付日益普及的时代,我们的消费行为大多依赖于各大支付机构,如支付宝、微信支付等。然而,在电子支付蓬勃发展的背后,仍存在一些不容忽视的风险。不法分子或许会利用虚假交易或钓鱼网站诱导我们使用第三方支付机构进行支付,从而实施诈骗。

2024-12-06
查看更多