找回密码
 立即注册

QQ登录

只需一步,快速开始

铁威马网络网络存储

【业界视点】大数据量“高效存储”新技术探析(第三篇)转载

[复制链接]
【业界视点】大数据量“高效存储”新技术探析(第三篇)
3“高效存储”技术
  基于高效存储策略,目前IT界公认的五项高效存储技术分别是数据压缩、重复数据删除、自动精简配置、自动分层存储和存储虚拟化。
  3.1 数据压缩
  数据压缩技术是提离数据存储效率最古老最有效的方法之一。数据压缩就是将收到的数据通过存储算法存储到更小的空间中去。随着CPU处理能力的大幅提高,在主存中应用实时压缩技术来节省数据占用空间成为现实。这项新技术就是最新研发出的在线压缩(实时压缩,RACE)技术,它使得数据压缩技术发生了探大的改变,它具有更快捷更准确的活跃数据判断能力和缩减能力,从而大幅度地降低文件和数据库的占用空间。借助实时压缩技术,在不降低性能要求的情况下,将存储需求最多可降低80%与传统压缩技术不同,对RACE技术,当主数据在首次写入时即被压缩,帮助系统控制大,数据在主存中杂乱无章地存储的情形,特别是多任务工作时更加明显。进而降低了功耗、减少了冷却要求,也使得CPU工作受轻松。该技术还可以在数据写入到存储系统前压缩数据,这进一步提高了存储系统中的磁盘和缓存的性能和效率。RACE是一个软硬件组合的技术产品,本身可以看作一个压缩器,透明地部署在数据流中,整个数据会流经它,再存储到服务器中。
  3.2重复数据删除
  备份设备中总是充斥着大量的重复数据。“重复删除”技术(Deduplication)作为一种数据缩减技术可对存储容量进行优化。它通过删除数据集中重复的数据,只保留其中一份,如图1所示,从而消除冗余数据。Dedupe技术可以将数据缩减到原来的1/20-1/50。由于大幅度减少了对物理存储空间的禽求,进而减少传输过程中的网络带宽、节约设备成本、降低能耗。

  图1 重复教据删除技术原理
  Dedupe按照消重的粒度可以分为文件级和数据块级。文件级的dedupe技术也称为单一实例存储(SIS,Single inaroncc 5tane),数据块级的,复数据删除,其消宜粒度更小,可以达到4-24KE之间。显而易见,数据块级可以提供更高的数据消重率,因此目前主流的dedupe产品都是数据块级的。Dedupe将文件变成定长或变长的数据块,采用MD5/SHA1等Hash散列)算法为数据块计算指纹(FP,Fingerprint)。可以同时使用两种以上hash算法计算数据指纹,以获得非常小的数据碰括发生概率。具有相同指纹的数据块即可认为是相同的数据块,存储系统中仅需要保留一份。这样,一个物理文件在存储系统就只对应一个逻辑表示。
  3.3自动情简配置
  自动情简配置(Thin Provisioning )是一种全新的存储空间管理技术。在传统存储空间分配过程中,系统往往预先给某个应用分配足够大的空间,实际使用容量仅占其20%-39% ,这是一种很大的浪费。自动精简配置技术是利用虚拟化方法减少物理存储部署。最大限度提升存储空间利用率。它的核心原理是“欺骗”操作系统,其假象就是存储
空间足够大,而实际物理存储空间并没有那么大。自动精简配置减少已分配但未使用的存储容f的浪费,用户需要多少存储空间系统则按需分配。自动精简配置是解决存储过。供给的最有效的方式。它不会一次性地划分过大的空间给某项应用,而是通过块或块组将资源写人特定卷。当该项应用所产生的数据增长、分配的容量空间已不够的时候,系统会两次从后端存储池中补充分配一部分存储空间。因此自动精简配置技术优化了存储利用,扩展了存储管理功能,虽然实际分配的物理容量小,但可以为操作系统提供超大容量的虚拟存储空i随粉应用写入的数据越来越多,实际存储空间也可以及时扩展,无需手动。利用自动精简配里技术,能够帮助用户在不降低性能的情况下,大幅度提高存储空间利用效率;需求变化时,无铸更改存储容量设置。通过虚拟化技术集成存储,减少超量配置,降低总功耗。具体请关注下一篇转载中(如图2)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
使用道具 举报 回复
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回列表 搜索 官方QQ群