还不快来了解一下数据存储方式吗?

来源: 云巴巴 2022-11-22 11:06:14

 

    数据存储是现在的一个热点话题,互联网时代各种存储框架层出不穷,眼花缭乱,比如传统的关系型数据库:OracleMySQL。新兴的NoSQLHBaseCassandraRedis。全文检索框架:ESSolr等。

    如何为自己的业务选取合适的存储方案,相信大家都思考过这个问题。本文简单聊聊小编自己对于MysqlHBaseES的理解。希望能和大家一起探讨进步,有不对的地方也欢迎系小伙伴们指出。

    数据存储方式

    如果我们想要知道有哪些文档含有you这个关键字,首先可以创建一个倒排索引,格式如下。

    我们把前面的部分叫做dictionary(字典),里面的每个单词叫做term,后面的文档列表叫做psoting-listlist中记录了所有含有该term的文档id。两个组合起来就是一个完成的倒排索引(Inverted Index),能够看出,假如需要查找含有“you”的文档时,根据dictionary然后找到对应的posting-list即可。

    而全文检索中,创建Inverted Index是最关键也是最耗时的过程,而且真正的Inverted Index结构也远比图中展示的复杂。不仅需要对文档进行分词,ES里中文可以自定义分词器,还要计算TF-IDF。方便评分排序,当查找you时,评分决定哪个doc显示在前面,也就是所谓的搜索排名。压缩操作,每接收一个documentES就会将其信息更新在倒排索引中。

    从这里我们就可以看出ESMySQLHBase的存储还是有很大的区别,而且ES不仅包含倒排索引。默认同时还会把文档doc存储起来,所以当我们使用ES时,也能拿到完整的文档信息。所以某种程度上,感觉就像在使用数据库一样。但是也可以配置不存储文档信息,这时只能根据查询条件得到文档id,并不能拿到完整的文档内容。

    MySQL行存储的方式比较适合OLTP业务,列存储的方式比较适合OLAP业务,而HBase采用了列族的方式平衡了OLTPOLAP。支持水平扩展,如果数据量比较大、对性能要求没有那么高、并且对事务没有要求的话。HBase也是个不错的考虑。ES默认对所有字段都建了索引,所以比较适合复杂的检索或全文检索。

    关于数据存储的知识,本篇文章就介绍到这里了,其实,小编还写了有关数据存储的其他知识的文章,对此感兴趣的小伙伴们,还不赶快去看一下吗。

版权声明:本文为Yun88网的原创文章,转载请附上原文出处链接及本声明。

 

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

针对海量数据和高并发的主要解决方案

针对海量数据和高并发的主要解决方案

正是科技使我们的这个地球变小,现在的我们已经不再满足于物质的享受,更多的则是精神上的安逸,人类在探索与发明的同时,人们在享受科技如数字化安全的带来的福祉的同时也收获了快乐。本文,就对于海量数据存储进行了简要相关的的介绍。 海量数据存储的海量数据的解决方案

2022-11-21 10:34:58

关于非结构化数据的数据存储的简单介绍

关于非结构化数据的数据存储的简单介绍

时间过得可真快啊,不知不觉中,关于非结构化数据相关知识的介绍已经到了存储这一步,你有没有感受到收获到了很多知识,好了,先不感性了,我们来对今天的非结构化数据的数据存储知识进行介绍。 非结构化数据的存储是据IDC的一项调查报告中指出:据报道指出:平均只有1

2022-11-21 11:08:42

统一数据平台之何为数据存储云平台

统一数据平台之何为数据存储云平台

今天,我们来介绍一下什么是数据存储云平台。 数据存储云平台系统能够实时地根据网络流量和各节点的连接、数据存储云平台通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导

2022-11-21 10:37:49

海量数据存储的表结构优化是什么样的

海量数据存储的表结构优化是什么样的

现在,无论是工作还是学习,都要使用网络,海量数据存储系统是网络系统的升级版,海量数据存储可以有效解决目前面临四大安全威胁。要建立一个完善的海量数据存储防护管理体系,必须从客户端软件、邮件服务器端安全、安全邮件信息服务提供商等各个企业方面可以采取一些相应的技

2022-11-21 10:34:48

科普收藏向,数据存储的基础知识

科普收藏向,数据存储的基础知识

我们现在处于信息时代,我们的工作和生活,每天都在和电脑、手机打交道,已经完全离不开视频、文本、音乐、图片、表格这样的数据文件。说到“数据存储”,大家会想到什么? 要知道,所有这些数据文件,都需要通过电子设备进行保存,这就是数据存储,简称存储,存储的基本载

2022-11-22 11:06:29

你不知道的哪些关于数据存储的知识

你不知道的哪些关于数据存储的知识

本篇文章主要谈一下MySQL,HBase,ES这几种数据存储的主要知识。 MySQL,关系型数据库。主要面向OLTP,支持事务,支持二级索引。支持sql,支持主从、Group Replication架构模型。 HBase是基于HDFS,支持海量数据读写

2022-11-22 11:05:58

严选云产品

网际思安邮件统一威胁管理解决方案 网际思安邮件统一威胁管理解决方案,智能DNS和BGP加速方式,来解决海外向国内发送邮件延迟或接收不到等问题。全球部署邮件投递服务器,解决用户海外邮件退信问题。通过云应用服务管理平台实现统一日志管控,来查看各种增值应用的邮件状态,管理更高效。
ManageEngine卓豪ITOM综合IT运维管理解决方案 ITOM是企业信息化建设的重要组成部分。在企业信息化建设不断深入的过程中,有效的实施IT运维管理能够最大程度降低企业的运营风险,提高企业的管理效率,可为企业高速推进数字化转型升级提供助力。
快杰云主机 计算、存储、网络性能的新变革,新芯片加持,整体计算性能提升16%;内网带宽为原先的2.5倍,内网包量最高可达1000万PPS;可挂载RSSD云盘,容量可达,32,000GB,延迟低至0.1ms;单个EIP支持最大10Gb外网带宽,网络包量达300万PPS
腾讯安心一码区块链防伪溯源营销安全平台 安⼼平台依托腾讯核⼼安全能⼒,充分运⽤⼤数据、物联⽹、区块链等技术,利⽤⼀物⼀码和区块链防篡改的性能,将商品的⽣产、流通、营销环节进⾏全流程溯源,提升产品质量,加强相关机构监管能⼒,实时了解⽤户动态,增强消费者认可度,打造⾏业优质品牌。安⼼平台以码为载体,通过区块链溯源+码后营销+品牌监控+品牌建设组合拳,真正助⼒产业客户⼀站安⼼。
龙泰信息AI话术大师 爱小智是针对一些特定岗位(销售、导购、客服)日常话术学习和评测的人工智能工具。综合利用语音合成、语音识别、语音测评、语义理解等人工智能技术,模拟相关业务场景和角色,陪伴学员进行日常话术学习,并进行智慧的行为测评,具备自我学习能力。
简道云零代码开发财务管理解决方案 简道云零代码开发财务管理解决方案个性化校验与审批规则,自动计算、自动校验、减少反复沟通与人工处理核算的工作量。从业务动作到财务凭证全链路关联,保证数据准确性、实时性、可复核性。根须需求个性化配置,无需代码可以职级设计流程、计算逻辑、报表。能够快速响应所有业务财务需求,并且实时修改,一键上线。

甄选10000+数字化产品 为您免费使用

申请试用