一种基于相似性的重复数据删除方法和系统

（12）发明专利申请

（21）申请号 CN201680087037.X （22）申请日 2016.12.15 （71）申请人 华为技术有限公司

地址 518129 广东省深圳市龙岗区坂田华为总部办公楼

（10）申请公布号 CN109716658A

（43）申请公布日 2019.05.03

（72）发明人 斯坦尼斯拉夫·弗拉基米罗维奇·莫伊谢耶夫;丹尼斯·瓦西里耶维奇·帕弗芬诺夫;丹尼斯·弗拉基米罗维奇·帕尔霍缅科;德米特里·尼古拉耶维奇·巴宾;关坤 （74）专利代理机构

代理人

（51）Int.CI

权利要求说明书 说明书 幅图

（）发明名称

一种基于相似性的重复数据删除方法和系统

（57）摘要

公开了一种基于相似性的重复数据删除方

法，包括以下步骤：接收输入数据块；根据所述输入数据块计算离散小波变换(discrete wavelet transform，简称DWT)系数；从计算得到的DWT系数中提取特征相关的DWT数据；对所述提取的特征相关的DWT数据进行量化以获得密钥作为量化结果；根据所述密钥构建所述输入数据块的局部敏感指纹；计算所述输入数据块的所述局部敏

感指纹和超速缓存内存中多个数据块中的每个数据块的局部敏感指纹之间的相似度；选择最优参考数据块，例如在所述超速缓存内存中的所有数据块中与所述输入数据块具有最大相似度的数据块；根据所述输入数据块与所述最优参考数据块之间的相似度确定是否需要差分压缩；如果需要差分压缩，则对所述输入数据块和所述最优参考数据块进行差分压缩。还提供一种基于相似性的重复数据删除系统。

法律状态

法律状态公告日

法律状态信息

2019-05-03 公开 2019-05-03 公开

2019-05-28

实质审查的生效

法律状态

公开 公开

实质审查的生效

权利要求说明书

一种基于相似性的重复数据删除方法和系统的权利要求说明书内容是....请下载后查看

说明书

一种基于相似性的重复数据删除方法和系统的说明书内容是....请下载后查看