最新【开源SPL】列存数据仓库怎样更高效_spl 开源

最新【开源SPL】列存数据仓库怎样更高效_spl 开源结构化数据的编码方式一般都不会非常紧凑常常还有一定的可压缩余地。数据仓库通常会在列存的基础上对数据进行压缩在物理上减少数据存储量从而减少读取时间提高性能。数据表相同字段的数据类型一般都是一样的甚至有些情况取值都很接近这样的一批数据通常会有较好的压缩率。列存是将相同字段值存储在一起的所以比行存更有利于数据压缩。但是通用的压缩算法不能假定数据有某种特征只能将数据当作随意的字节流去编码有时并不能获得最好的压缩率。而且高压缩率的算法压缩出来的数据解压缩时常常会增加CPU的运算量消耗更多的时间。这部分多消耗的时间甚至会大于压缩节省的硬盘读取时间得不偿失。如果我们先对数据做一些处理人为地制造某些数据特征来利用再配合压缩算法就可以实现较高的压缩率同时保持较低的CPU消耗。将数据排序后存储就是一个有效的处理方法。数据表中常常有许多维度字段比如地区、日期等。这些维度的取值基本都在一个小集合范围内数据量大时会有很多重复取值。如果数据是按这些列排序的则相邻记录之间取值相同的情况就很常见。这时使用很轻量级的压缩算法也能获得很好的压缩率。简单来讲可以直接存储列值及其重复次数而不必把同样的值存储多遍少占用的空间是相当可观的。排序的次序也有讲究。要尽量把字段值较长的列放在前面排序。比如有地区和性别两个列地区的值“北京”、“上海”等字符数要大于性别“男”、“女”则先地区、后性别排序的效果就要好于反过来的情况。我们还可以进行数据类型的优化比如将字符串、日期等转换为适当的数值编码。如果把地区、性别字段都转换为小整数编号字段值的长度就一样了。这时可以选择重复情况更多的字段排到前面。例如性别只有两个枚举值而地区则相对较多。所以各条记录中性别重复的会更多先性别、后地区排序所占用空间通常会更小。开源数据计算引擎SPL提供的列存方案就实现了这种压缩算法。把有序数据追加进SPL的组表时默认会自动执行上述方法只记录一次值和重复计数。SPL建立有序列存组表并完成遍历计算的写法大致是这样示例代码1有序压缩列存和遍历计算A1file(“T/_ordinary.ctx”).open().cursor(f1,f2,f3,f4,…).sortx(f1,f2,f3)2file(“T.ctx”).create(#f1,#f2,#f3,f4,…).appendi(A1)3file(“T.ctx”).open().cursor().groups(…;sum(amt1),avg(amt2),max(amt3amt4),…)A1建立原数据的游标并按照f1,f2,f3三个字段排序。A2建立新的组表指定f1,f2,f3三个字段有序。将已经排好序的数据写入组表。A3打开已经建好的新组表做分组汇总。在下面这个测试中SPL采用数据类型优化和有序压缩列存后数据存储量减少了31%而计算性能提高了9倍多。测试结果见下图这个测试更详细的信息请参考 多维分析后台实践 3维度排序压缩二、并行多线程并行可以充分利用多CPU计算能力是重要的提速手段。而要并行就需要先把数据分段。行存分段比较简单按数据量大体平均分段再找记录结束标记确定分段点位置即可。但列存不能采用同样的办法。由于列存的不同列是分别存储的也必须分别分段。又因为不定长字段和压缩数据的存在各个列相同的分段点位置不一定会落在同一条记录上会导致读取错误。业界普遍采用分块方案解决列存分段同步性问题块内数据用列式存储分段必须以块为单位在块内不再分段并行。实施这种方法要先确定每一块的数据量大小。如果数据表总数据量固定以后也不再追加数据则很容易计算出一个合适的块大小。但数据表一般都会有新增数据不断追加进来这就会出现块大小如何确定的矛盾。假如块较大在初期总数据量较小时分块数会比较少无法做到灵活分段。而均匀、灵活的分段是决定并行计算性能的关键。假如块较小在数据量增长后分块数会变得很多列数据在物理上将被拆成很多不连续的小块会多读入分块之间的少量无用数据。考虑硬盘的寻道时间分块数越多这个问题越严重。很多数据仓库或大数据平台都无法解决这个分块大小和分块数的矛盾所以很难充分利用并行计算提升性能。SPL提供了倍增分段方式将固定物理分块改为动态逻辑分块可以很好的解决这个矛盾。具体做法是为每列数据建立固定大小例如 1024 个索引位的索引区每个索引位存储一条记录的起始位置相当于一条记录为一块。追加记录到索引位填满后重写索引区丢弃偶数索引位奇数位向前移动空出索引区后一半位置。相当于将分块数缩减为 512 个两条记录为一块。依次类推重复追加数据、填满、重写索引区的过程。随着数据量的增加块的大小块内记录数不断翻倍。所有列的索引区要同步填充且填满后同步重写始终保持一致。这种办法实质上是以记录数作为分段依据的而不是字节数所以可以保证各个列即使分别分段也是同步的不会出现错位的情况。以动态块为单位分段时块个数保持在 512 到 1024 之间记录数小于 512 除外可以满足分段灵活的要求。各列的动态块对应记录数完全相同也可以满足分段均匀的要求。数据量无论大小都可以获得良好的分段效果。倍增分段原理的详细介绍参见这里SPL 的倍增分段。示例代码1中生成的组表T缺省采用了倍增分段方案。要用T做并行计算只要将A3代码做简单修改file(T.ctx).open().cursorm().groups(…;sum(amt1),avg(amt2),max(amt3amt4),…)cursor函数加上m选项就可以做并行计算了。后续再追加数据时不需要重新生成一遍组表。打开组表直接追加即可代码大致是这样的gt; file(T.ctx).open().appendi(cs)这里要保证游标cs中的待追加数据按照f1,f2,f3三个字段继续有序。实际应用中待追加数据不一定满足这个条件。对于这种情况SPL也给出了高性能的解决方案具体方法请参考SPL 的有序存储。三、查找列存比较适合遍历计算比如分组汇总等。对于大多数查找任务来讲列存却会导致更差的性能。在不用索引的时候通常的列存即使已经有序存储也无法使用二分法查找。这个原因和上面并行分段介绍的一样还是因为列存不能保证各列的同步性可能会出现错位导致读取错误。这时列存数据只能用遍历法来查找了性能会很差。列存数据表上也可以建立索引来避免遍历但非常麻烦。理论上讲要在索引中把各个字段的物理位置都记录下来索引容量就会比行存时的索引大很多甚至可能和原数据表一样大因为每个字段都有个物理位置索引中的数据量和原数据相同仅是数据类型简单。而且读取时也要分别到各个字段的数据区去读而硬盘有个最小读取单位这会导致各列的总读取量远远超过行存表现出来就是查找性能差很多。SPL采用倍增分段机制后可以较迅速按记录序号在列存格式中找到各字段值就可以执行二分法了。同时索引中记录整条记录的序号即可容量就能小得多和行存时差不多。不过使用二分法或索引查找的时候仍然需要到各个字段的数据块分别读取性能还是赶不上行存。所以如果要追求极致的查找性能还是要采用行存。实际应用中最好是让程序员根据计算的需要来选择是否列存。但是有些数据仓库做成了透明机制不允许用户自由选择行存和列存就很难达到最佳效果了。SPL则将这个自由度留给了开发人员可以根据实际需要来决定是否采用列存、哪些数据采用列存从而获得极致性能。在前面的介绍中组表缺省使用列存但也提供行存模式可以在创建时用选项 r 指明。示例代码1中的A2可以改为file(T_r.ctx).creater(#f1,#f2,#f3,f4,…).appendi(A1)这样生成的就是行存组表。有了列存和行存两个组表程序员即可根据需要自由选择使用。对遍历和查找性能要求都很高的场景就只能用存储空间来换计算时间。也就是将数据冗余存储两遍列存用于遍历行存用于查找。不过这种共存方案的数据要冗余两遍且行存还要再建立索引所以整体占用的硬盘空间会比较大。《网络安全从零到精通全套学习大礼包》96节从入门到精通的全套视频教程免费领取如果你也想通过学网络安全技术去帮助就业和转行我可以把我自己亲自录制的96节 从零基础到精通的视频教程以及配套学习资料无偿分享给你。网络安全学习路线图想要学习 网络安全作为新手一定要先按照路线图学习方向不对努力白费。对于从来没有接触过网络安全的同学我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线大家跟着这个路线图学习准没错。配套实战项目/源码所有视频教程所涉及的实战项目和项目源码学习电子书籍学习网络安全必看的书籍和文章的PDF市面上网络安全书籍确实太多了这些是我精选出来的面试真题/经验以上资料如何领取以上资料如何领取