梦想之鹰的天空

天高任鸟飞......放飞....心情..........放飞.....梦想

日志

关于我

梦想之鹰

非淡泊无以明志非宁静无以致远

文章分类

保重复数据删除系统的高可用性

2007-12-12 19:36:20| 分类：服务器 | 标签： |举报 |字号大中小订阅

下载LOFTER 我的照片书 |

在部署重复数据删除系统时，考虑其可伸缩性和可靠性很重要。随着存储容量和重复数据删除粒度性的增加，系统性能需要保持在可接受性的水准之上。如果由于重复删除算法错误而产生数据损失，重复数据删除应能够不受影响。

　　可伸缩性与哈希冲突

　　重复数据删除产品检测重复的数据元素，判断一个文件、块或比特是否和另一个文件、块或比特相同。重复数据删除产品将每个数据元素用数学的"哈希"算法来进行处理，并得到一个名叫哈希码的唯一的认证数。每个数字都被编译到一个清单，这个清单经常被称为哈希索引。

　　当新的数据元素被处理时，它们所产生的哈希码将和已经在索引表中的哈希码相比较。如果新的数据元素所得到的哈希码和另一个已经在索引表中的哈希码相同，那么这个新数据将被认为是一个重复数据，将不被保存到磁盘--只有一个很小的参照"存根"能够相联到已经被存储的同一数据。如果索引表中没有这个新的哈希码，那么该数据元素将被认为是新数据而被正常保存到磁盘中。

　　即使这个数据不是和已保存的那个数据完全相同，这个数据元素还是可能会产生同样的哈希码。这就是误确认，或者称为哈希冲突，这将导致数据丢失。有几种方法可以缓解误确认。重复数据删除厂商可以选择在每个数据元素上使用多于一个的哈希算法。例如，FalconStor 软件公司的虚拟磁带库(VTL)上的单实例存储(SIR)技术就用SHA-1和MD5算法来进行带外索引。这在很大程度上减少了误确认的机率。另一个选择就是使用一个哈希算法，但是在数据元素的比较上精确到比特单位。

　　这两种方法的共同问题是它们需要主机系统更多的处理能力，降低了索引效率，减缓了重复数据删除进程。随着重复数据删除进程越来越粒化，所检验的数据块也越来越小，索引变得更加庞大，而哈希冲突的机率也随之增加，更加拖累了性能。

　　可伸缩性和加密

　　另一个问题就是在一个公司的存储架构中，重复数据删除和传统的压缩及加密之间的关系。普通的压缩是将冗余数据移出文件，而加密则是"打乱"数据，使得数据完全随机而不可读。在数据存储中，压缩和加密都扮演着重要的角色，但是删除冗余数据可能影响重复数据删除进程。如果加密或传统的压缩和重复数据删除一起被请求进行，那么编制索引和重复数据删除应当先进行。

评论这张

转发至微博

阅读(393)| 评论(0)

历史上的今天

this.p={  m:2,
              b:2,
              loftPermalink:'',
              id:'fks_087069082083081068080087080095087086084068085082087069',
              blogTitle:'保重复数据删除系统的高可用性',
              blogAbstract:'在部署重复数据删除系统时，考虑其可伸缩性和可靠性很重要。随着存储容量和重复数据删除粒度性的增加，系统性能需要保持在可接受性的水准之上。如果由于重复删除算法错误而产生数据损失，重复数据删除应能够不受影响。\r\n<P\>　　<STRONG\>可伸缩性与哈希冲突</STRONG\></P\>\r\n<P\>　　重复数据删除产品检测重复的数据元素，判断一个文件、块或比特是否和另一个文件、块或比特相同。重复数据删除产品将每个数据元素用数学的\"哈希\"算法来进行处理，并得到一个名叫哈希码的唯一的认证数。每个数字都被编译到一个清单，这个清单经常被称为哈希索引。</P\>\r\n<P\>　　当新的数据元素被处理时，它们所产生的哈希码将和已经在索引表中的哈希码相比较。如果新的数据元素所得到的哈希码和另一个已经在索引表中的哈希码相同，那么这个新数据将被认为是一个重复数据，将不被保存到磁盘--只有一个很小的参照\"存根\"能够相联到已经被存储的同一数据。如果索引表中没有这个新的哈希码，那么该数据元素将被认为是新数据而被正常保存到磁盘中。</P\>',
              blogTag:'',
              blogUrl:'blog/static/305714162007111273620512',
              isPublished:1,
              istop:false,
              type:0,
              modifyTime:0,
              publishTime:1197459380512,
              permalink:'blog/static/305714162007111273620512',
              commentCount:0,
              mainCommentCount:0,
              recommendCount:0,
              bsrk:-100,
              publisherId:0,
              recomBlogHome:false,
              currentRecomBlog:false,
              attachmentsFileIds:[],
              vote:{},
              groupInfo:{},
              friendstatus:'none',
              followstatus:'unFollow',
              pubSucc:'',
              visitorProvince:'',
              visitorCity:'',
              visitorNewUser:false,
              postAddInfo:{},
              mset:'000',
              mcon:'',
              srk:-100,
              remindgoodnightblog:false,
              isBlackVisitor:false,
              isShowYodaoAd:false,
              hostIntro:'非淡泊无以明志 非宁静无以致远',
              hmcon:'1',
              selfRecomBlogCount:'0',
              lofter_single:'<iframe width="140" height="560" style="overflow:hidden;" src="http://www.lofter.com/mailEntry.do?blogad=1&blog" frameBorder="0"></iframe>'
            }

{list a as x}
    {if !!x}
    <div class="iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
      {if x.visitorName==visitor.userName}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.visitorNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.visitorName)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        {if x.moveFrom=='wap'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/wapblog.html?frompersonalbloghome"><span title="来自网易手机博客" class="iblock wapIcon"> </span></a>
        {elseif x.moveFrom=='iphone'}
          <a class="noul pnt" target="_blank"><span title="来自iPhone客户端" class="iblock iphoneIcon"> </span></a>
        {elseif x.moveFrom=='android'}
          <a class="noul pnt" target="_blank"><span title="来自Android客户端" class="iblock androidIcon"> </span></a>
        {elseif x.moveFrom=='mobile'}
          <a class="noul pnt" target="_blank" href="http://blog.163.com/services/emsblog.html?frompersonalbloghome"><span title="来自网易短信写博" class="iblock wapIcon"> </span></a>
        {/if}
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.visitorName}/">
          ${fn(x.visitorNickname,8)|escape}
        </a>
      </div>
    </div>
    {/if}
    {/list}

<#--最新日志，群博日志--> <#--推荐日志-->

<p class="fc06">推荐过这篇日志的人：</p>
    <div>
      {list a as x}
      {if !!x}
      <div class="iblock nbw-fce nbw-f40">
        <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
        <img alt="${x.recommenderNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.recommenderName)}"/>
        </a>
        <div class="cwd thide">
          <a class="fc03 m2a" target="_blank" hidefocus="true" href="http://blog.163.com/${x.recommenderName}/">
            ${fn(x.recommenderNickname,6)|escape}
          </a>
        </div>
      </div>
      {/if}
      {/list}
    </div>
    {if !!b&&b.length>0}
    <p  class="fc06">他们还推荐了：</p>
    <ul>
    {list b as y}
      {if !!y}
        <li class="rrb"><span class="iblock">·</span><a class="fc03 m2a" target="_blank" href="http://blog.163.com/${y.recommendBlogPermalink}/?from=blog/static/305714162007111273620512">${y.recommendBlogTitle|escape}</a></li>
      {/if}
    {/list}
    </ul>
    {/if}

<#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇，下一篇--> <#-- 热度 -->

{list a as x}
    {if !!x}
    <div class="hotItem iblock nbw-fce nbw-f40">
      <a class="fc03 noul" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
      {if x.publisherUsername==visitor.userName}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}&r=${visitor.imageUpdateTime}"/>
      {else}
      <img alt="${x.publisherNickname|escape}" onerror="this.src=location.f40" class="cwd bdwa bdc0" src="${fn1(x.publisherUsername)}"/>
      {/if}
      </a>
      <div class="cwd vname thide">
        <a class="fc03 m2a"  target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/">
          ${fn(x.publisherNickname,8)|escape}
        </a>
      </div>
      <a class="f-myLikeIcons hottype {if x.type==1} js-liketype{elseif x.type==2} js-reblogtype{elseif x.type==3} js-sharetype{else}{/if}" target="_blank" hidefocus="true" href="http://blog.163.com/${x.publisherUsername}/"> </a>
    </div>
    {/if}
    {/list}

<#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->

页脚

我的照片书 - 手机博客 - 下载LOFTER APP - 订阅此博客

梦想之鹰的天空

导航

日志

保重复数据删除系统的高可用性

历史上的今天

最近读者

热度

评论

页脚