使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

请问大量小文件读会影响数据的写入么?

匿名 | 发布于2018年01月18日 | 阅读数:2656

昨天发生一个情况,服务器的io始终上不去。看了下监控,当时的r_wait很高,但是读取数据的吞吐量很低,同时,io的写入性能很低,但是监控看w_wait不高,同时avgrq-sz也不算高,从监控看,服务器的平均写入才达到25M/s。
 
此时机器的top看,cpu不高,内存使用也不高。
 
这台机器存储了40T的小文件,请问跟读取大量小文件有关系么?
小文件.png
已邀请:

kennywu76 - Wood

赞同来自: medcl

这个问题和ES有关联吗?  不过大量的小文件读取应该也会影响写入性能。

要回复问题请先登录注册