【业界视点】大数据量“高效存储”新技术探析（第三篇）

3“高效存储”技术

　　基于高效存储策略，目前IT界公认的五项高效存储技术分别是数据压缩、重复数据删除、自动精简配置、自动分层存储和存储虚拟化。

　　3.1 数据压缩

　　数据压缩技术是提离数据存储效率最古老最有效的方法之一。数据压缩就是将收到的数据通过存储算法存储到更小的空间中去。随着CPU处理能力的大幅提高，在主存中应用实时压缩技术来节省数据占用空间成为现实。这项新技术就是最新研发出的在线压缩(实时压缩，RACE)技术，它使得数据压缩技术发生了探大的改变，它具有更快捷更准确的活跃数据判断能力和缩减能力，从而大幅度地降低文件和数据库的占用空间。借助实时压缩技术，在不降低性能要求的情况下，将存储需求最多可降低80%与传统压缩技术不同，对RACE技术，当主数据在首次写入时即被压缩，帮助系统控制大，数据在主存中杂乱无章地存储的情形，特别是多任务工作时更加明显。进而降低了功耗、减少了冷却要求，也使得CPU工作受轻松。该技术还可以在数据写入到存储系统前压缩数据，这进一步提高了存储系统中的磁盘和缓存的性能和效率。RACE是一个软硬件组合的技术产品，本身可以看作一个压缩器，透明地部署在数据流中，整个数据会流经它，再存储到服务器中。

　　3.2重复数据删除

　　备份设备中总是充斥着大量的重复数据。“重复删除”技术(Deduplication)作为一种数据缩减技术可对存储容量进行优化。它通过删除数据集中重复的数据，只保留其中一份，如图1所示，从而消除冗余数据。Dedupe技术可以将数据缩减到原来的1/20-1/50。由于大幅度减少了对物理存储空间的禽求，进而减少传输过程中的网络带宽、节约设备成本、降低能耗。

　　图1 重复教据删除技术原理

　　Dedupe按照消重的粒度可以分为文件级和数据块级。文件级的dedupe技术也称为单一实例存储(SIS，Single inaroncc 5tane)，数据块级的，复数据删除，其消宜粒度更小，可以达到4-24KE之间。显而易见，数据块级可以提供更高的数据消重率，因此目前主流的dedupe产品都是数据块级的。Dedupe将文件变成定长或变长的数据块，采用MD5/SHA1等Hash散列)算法为数据块计算指纹(FP，Fingerprint)。可以同时使用两种以上hash算法计算数据指纹，以获得非常小的数据碰括发生概率。具有相同指纹的数据块即可认为是相同的数据块，存储系统中仅需要保留一份。这样，一个物理文件在存储系统就只对应一个逻辑表示。

　　3.3自动情简配置

　　自动情简配置(Thin Provisioning )是一种全新的存储空间管理技术。在传统存储空间分配过程中，系统往往预先给某个应用分配足够大的空间，实际使用容量仅占其20%-39% ，这是一种很大的浪费。自动精简配置技术是利用虚拟化方法减少物理存储部署。最大限度提升存储空间利用率。它的核心原理是“欺骗”操作系统，其假象就是存储

空间足够大，而实际物理存储空间并没有那么大。自动精简配置减少已分配但未使用的存储容f的浪费，用户需要多少存储空间系统则按需分配。自动精简配置是解决存储过。供给的最有效的方式。它不会一次性地划分过大的空间给某项应用，而是通过块或块组将资源写人特定卷。当该项应用所产生的数据增长、分配的容量空间已不够的时候，系统会两次从后端存储池中补充分配一部分存储空间。因此自动精简配置技术优化了存储利用，扩展了存储管理功能，虽然实际分配的物理容量小，但可以为操作系统提供超大容量的虚拟存储空i随粉应用写入的数据越来越多，实际存储空间也可以及时扩展，无需手动。利用自动精简配里技术，能够帮助用户在不降低性能的情况下，大幅度提高存储空间利用效率;需求变化时，无铸更改存储容量设置。通过虚拟化技术集成存储，减少超量配置，降低总功耗。具体请关注下一篇转载中(如图2)

【业界视点】大数据量“高效存储”新技术探析（第三篇）

3“高效存储”技术

　　基于高效存储策略，目前IT界公认的五项高效存储技术分别是数据压缩、重复数据删除、自动精简配置、自动分层存储和存储虚拟化。

　　3.1 数据压缩

　　数据压缩技术是提离数据存储效率最古老最有效的方法之一。数据压缩就是将收到的数据通过存储算法存储到更小的空间中去。随着CPU处理能力的大幅提高，在主存中应用实时压缩技术来节省数据占用空间成为现实。这项新技术就是最新研发出的在线压缩(实时压缩，RACE)技术，它使得数据压缩技术发生了探大的改变，它具有更快捷更准确的活跃数据判断能力和缩减能力，从而大幅度地降低文件和数据库的占用空间。借助实时压缩技术，在不降低性能要求的情况下，将存储需求最多可降低80%与传统压缩技术不同，对RACE技术，当主数据在首次写入时即被压缩，帮助系统控制大，数据在主存中杂乱无章地存储的情形，特别是多任务工作时更加明显。进而降低了功耗、减少了冷却要求，也使得CPU工作受轻松。该技术还可以在数据写入到存储系统前压缩数据，这进一步提高了存储系统中的磁盘和缓存的性能和效率。RACE是一个软硬件组合的技术产品，本身可以看作一个压缩器，透明地部署在数据流中，整个数据会流经它，再存储到服务器中。

　　3.2重复数据删除

　　备份设备中总是充斥着大量的重复数据。“重复删除”技术(Deduplication)作为一种数据缩减技术可对存储容量进行优化。它通过删除数据集中重复的数据，只保留其中一份，如图1所示，从而消除冗余数据。Dedupe技术可以将数据缩减到原来的1/20-1/50。由于大幅度减少了对物理存储空间的禽求，进而减少传输过程中的网络带宽、节约设备成本、降低能耗。

　　图1 重复教据删除技术原理

　　Dedupe按照消重的粒度可以分为文件级和数据块级。文件级的dedupe技术也称为单一实例存储(SIS，Single inaroncc 5tane)，数据块级的，复数据删除，其消宜粒度更小，可以达到4-24KE之间。显而易见，数据块级可以提供更高的数据消重率，因此目前主流的dedupe产品都是数据块级的。Dedupe将文件变成定长或变长的数据块，采用MD5/SHA1等Hash散列)算法为数据块计算指纹(FP，Fingerprint)。可以同时使用两种以上hash算法计算数据指纹，以获得非常小的数据碰括发生概率。具有相同指纹的数据块即可认为是相同的数据块，存储系统中仅需要保留一份。这样，一个物理文件在存储系统就只对应一个逻辑表示。

　　3.3自动情简配置

　　自动情简配置(Thin Provisioning )是一种全新的存储空间管理技术。在传统存储空间分配过程中，系统往往预先给某个应用分配足够大的空间，实际使用容量仅占其20%-39% ，这是一种很大的浪费。自动精简配置技术是利用虚拟化方法减少物理存储部署。最大限度提升存储空间利用率。它的核心原理是“欺骗”操作系统，其假象就是存储

空间足够大，而实际物理存储空间并没有那么大。自动精简配置减少已分配但未使用的存储容f的浪费，用户需要多少存储空间系统则按需分配。自动精简配置是解决存储过。供给的最有效的方式。它不会一次性地划分过大的空间给某项应用，而是通过块或块组将资源写人特定卷。当该项应用所产生的数据增长、分配的容量空间已不够的时候，系统会两次从后端存储池中补充分配一部分存储空间。因此自动精简配置技术优化了存储利用，扩展了存储管理功能，虽然实际分配的物理容量小，但可以为操作系统提供超大容量的虚拟存储空i随粉应用写入的数据越来越多，实际存储空间也可以及时扩展，无需手动。利用自动精简配里技术，能够帮助用户在不降低性能的情况下，大幅度提高存储空间利用效率;需求变化时，无铸更改存储容量设置。通过虚拟化技术集成存储，减少超量配置，降低总功耗。具体请关注下一篇转载中(如图2)