分页: 1 / 1

能不能改进下二级缓存的校验机制

发表于 : 周一 2月 05, 2018 4:03 am
kissoul
就因为停了一次电, 缓存好的二级缓存全没了

Re: 能不能改进下二级缓存的校验机制

发表于 : 周一 2月 05, 2018 1:39 pm
nightlight
这个很难。

Re: 能不能改进下二级缓存的校验机制

发表于 : 周五 2月 09, 2018 6:23 pm
Support
这个的确很麻烦,异常关机的情况下,很多元数据都没法及时更新到二级缓存盘。如果要实时更新的话,又会影响到性能。
如果对全盘缓存数据进行校验,那还不如再重新从原始盘读取一遍。
我们下一步计划实现的是出现问题重置二级缓存后能自动后台重新读取原数据到二级缓存。

Re: 能不能改进下二级缓存的校验机制

发表于 : 周一 2月 19, 2018 11:49 am
rome666
support 写了:这个的确很麻烦,异常关机的情况下,很多元数据都没法及时更新到二级缓存盘。如果要实时更新的话,又会影响到性能。
如果对全盘缓存数据进行校验,那还不如再重新从原始盘读取一遍。
我们下一步计划实现的是出现问题重置二级缓存后能自动后台重新读取原数据到二级缓存。
管理员你好,我想到些方法不知道是否能帮助到你们,改进掉二级的问题。


:P 我有在使用BCompare这个软件,这个软件主要是帮助做文件和文件的对比备份的,能保持A数据和B数据的数据一致,也能帮助看出A数据和B数据的差异,如果出现异常关机时是否能用类似BCompare的方式来检查数据的差异、完整性从而进行补漏或叫“数据的覆盖更新”,因为我经常使用BCompare做文件的对比备份一般十多秒钟50G的文件都能完整的扫描一遍差异,再大的数据应该也要不了多长时间,比重新存一次二级、或重累积一次二级应该来得快很多,类似BCompare功能的软件也非常多不只是BCompare,在软件中添加类似的功能我个人觉得应该不是太难吧,不过实际我也不大懂。。。


:P 还有就是如果出现问题比如突然掉电关机,或者其它什么的, 能否先不清除缓存,而是把缓存“停止”掉,很类似你们已有的“暂停缓存”功能 ,进行类似BCompare的文件对比补漏或其它的处理后再“打开”缓存继续使用,不用全硬盘的扫描,就对比一下二级缓存里边的内容在实际硬盘上是否存在或者有无差异就行(感觉BCompare对比的其中一项就是最后的修改时间,就能确定有无差异),如果进行对比后发现 某文件没有存在了 或 有差异的地方就把二级里的差异文件清除掉或者更新覆盖就可以了,就不用原先的彻底全部清除这样一来很大部分的二级也就保住了,就把一些局部上有差异的给它去掉或清除,不用再用很长的时间做积累,也不用再次用另外的方法进行大量录入,就是对比后清除掉一些没有的就行,这样primocache掉二级的问题应该可以得到很大的改善。

:P 再一个和你们提到的方法有点类似,但这个方法我觉得是以上的方法都不能实现再弄的下下策,因为如果要清空二级的话,这个方法即使用起来也要重新大量的读写资源会比较影响二级的寿命。就是能否软件自动建立一个二级缓存的“热读取资源”的文件目录,在掉电清空数据后根据这个“热读取资源”文件目录对比实际的文件有无,又进行再次的二级缓存进去,就不会丢失后又要很长时间积累二级的“热读数据”才能再次建立

Re: 能不能改进下二级缓存的校验机制

发表于 : 周五 2月 23, 2018 9:42 pm
Support
@rome666, 大部分硬盘还是无法10多秒扫描完50G的数据的,而且这个50G文件通常顺序存放的,但缓存里的数据则很多是随机位置的,读取的速度要差好多。我们综合评估后的解决方法还是倾向软件自动全部重读之前已经缓存的数据。在时间上可能比读取比对后再写入要快些,缺点是会增加SSD写入。目前最终会采用哪种解决方案还未确定。