搜索找到 7 个匹配

GDSSSSST
周四 12月 30, 2021 11:05 pm
版面: 应用交流
主题: 读缓存不太智能呀
回复总数: 9
阅读次数: 2256

Re: 读缓存不太智能呀

Support 写了: 周四 12月 30, 2021 9:44 am
这就是前面提到的需要追踪信息才可以。否则如果一直超过缓存容量,缓存里的数据就不会更新了。这个方面我们会进行进一步研究优化。
Support 写了: 周四 12月 30, 2021 9:44 am L2采集时,如果数据已经在L1了,就直接从L1读取。否则就从硬盘采集。之所以采用异步缓存而不采用同步缓存,是为了不增加原IO的读写时间。
我好像理解了,如果只开l2应该是没法改进的。


同时开l1l2情况下:
l1容量有限,数据的保存时间等同于即时。io读写时间的短板应该是硬盘而不是内存吧,同步缓存直接读l1会增加原io的读写时间吗?

追踪信息是不是和l1的作用重合了,如果开了l1读缓存还需要额外追踪信息吗?
GDSSSSST
周三 12月 29, 2021 8:41 pm
版面: 应用交流
主题: 读缓存不太智能呀
回复总数: 9
阅读次数: 2256

Re: 读缓存不太智能呀

这是因为采集时不是一次就采集很多数据的,也不是预先定义好这次或这批采集需要采集多少数据量。每次都是采集一小部分数据,在这期间可能会不断有新数据进来。而且根据系统忙碌程度,每次采集的数据量和采集间隔也在变化。您看到的是一次读写1TB数据,但是Windows首先就会把这个读写分成很多个IO请求,PrimoCache识别这些IO并采集时,又可能分成很多次采集操作。而且很多情况下,这些IO请求中又会混入系统或其它应用程序发出的读写IO请求,特别是服务器应用环境中,系统基本一直处于忙碌状态中,场景就会变得很复杂。 我看到的不止是一次读写,关键是不同步的采集,也就是识别io以后并不是直接进行采集,而是记...
GDSSSSST
周二 12月 28, 2021 2:34 pm
版面: 应用交流
主题: 读缓存不太智能呀
回复总数: 9
阅读次数: 2256

Re: 读缓存不太智能呀

这个问题我们之前已经注意到了,看上去很好解决,但实际上涉及到淘汰算法,以及区分的热度或者追踪短时间内的连续数据等,还要考虑追踪这些数据的额外开销问题。不能满了就不采集,否则缓存热度就不会更新,但丢弃放在前面又需要对全盘数据进行追踪,如果数据量大的话,额外开销会很高。 不过我们也在想其它方法,应该会对这个问题进行改进。谢谢。 我说的是非常固定的条件,不是整个读缓存的算法。 我说的读1tb文件是一次连续的读取1tb数据,这段连续时间假如20分钟内硬盘是占满的,缓存是忙时不更新的暂停状态。然后20分钟后,硬盘空闲了,缓存开始写入了,缓存只会再读1tb数据,即使缓存远远小于1tb。 忙时间隔采集的读...
GDSSSSST
周一 12月 27, 2021 3:32 am
版面: 应用交流
主题: 读缓存不太智能呀
回复总数: 9
阅读次数: 2256

读缓存不太智能呀

我给冷数据盘也分了大概20g缓存,目的是给目录做二缓
实际中的问题:冷数据盘一次顺序读取1tb的文件,然后缓存就整个1tb文件再读一次,过程中丢弃几乎所有文件。然后我校验读一遍,缓存又再读再丢弃所有文件一遍。
但是呢,无论我读多大的文件,读缓存都是可以等到硬盘空闲再开始采集(我都是设置成仅空闲的)。
那么,为什么不能把丢弃的动作放到读取动作的前面,限制一次读取量不大于缓存容量?

没对我造成什么影响,就是觉得这应该挺容易改进的。
GDSSSSST
周六 2月 20, 2021 7:26 am
版面: 应用交流
主题: 软件设置上有些不懂,特别是“写入后释放相应缓存”
回复总数: 6
阅读次数: 3273

Re: 软件设置上有些不懂,特别是“写入后释放相应缓存”

点错了,还真的没有回复键
GDSSSSST
周五 2月 19, 2021 6:19 am
版面: 应用交流
主题: 软件设置上有些不懂,特别是“写入后释放相应缓存”
回复总数: 6
阅读次数: 3273

Re: 软件设置上有些不懂,特别是“写入后释放相应缓存”

怎么没有回复,这论坛全是回复一个人的吗

独立划分读缓存空间和写缓存空间时写后释放就是无效选项喽?

读缓存是否区分冷热数据,读过一次写入缓存,再读一次是否改变释放缓存的优先顺序。顺序读取a-b-c-a-b,空间不足时优先释放a还是c?
GDSSSSST
周日 2月 14, 2021 4:24 am
版面: 应用交流
主题: 软件设置上有些不懂,特别是“写入后释放相应缓存”
回复总数: 6
阅读次数: 3273

软件设置上有些不懂,特别是“写入后释放相应缓存”

描述下目的,win10上做多级缓存,内存用windows的缓存机制,主要是二级缓存。 设置特定盘1tb读缓存,和机械盘200g写缓存,尽量提高大容量机械盘效率。 “写后释放:写入后释放相应缓存。如果勾选此项,在缓写数据被写入到磁盘后,相应的缓存空间将被标记为备用状态,在缓存满负荷的情况下会被优先释放以存储新数据。” 不勾选此项会有什么影响,感觉是必须勾选呀? “忙时采集间隔” 即时采集能否利用windows的内存缓存,如果可以是不是即时反而是性能表现最好对硬盘负载最轻的方式? 我不理解忙时间隔的逻辑,利用内存应该是最好的呀,难道还等待硬盘空闲? “缓存粒度” 这个是和簇一个意思?缓存粒度大会使...