나는 직업으로 실행되는 fio 워크로드를 가지고 있습니다.
Fio 작업량:
---
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: fio-target
spec:
#storageClassName: ocs-storagecluster-cephfs
storageClassName: ocs-storagecluster-ceph-rbd
accessModes: ["ReadWriteOnce"]
resources:
requests:
storage: 50Gi
---
kind: ConfigMap
apiVersion: v1
metadata:
name: fio-config
data:
workload.fio: |
[simple-write]
readwrite=write
buffered=1
blocksize=4k
ioengine=libaio
directory=/target
#size=10G
fill_fs=1
---
apiVersion: batch/v1
kind: Job
metadata:
name: fio
spec:
template:
metadata:
name: fio
spec:
containers:
- name: fio
image: quay.io/johnstrunk/fs-performance:latest
command:
- "/usr/bin/fio"
- "--output-format=json"
- "/etc/fio/workload.fio"
volumeMounts:
- name: target
mountPath: /target
- name: fio-config-volume
mountPath: /etc/fio
restartPolicy: Always
volumes:
- name: target
persistentVolumeClaim:
claimName: fio-target
- name: fio-config-volume
configMap:
name: fio-config
fio 워크로드의 출력:
fio: io_u error on file /target/simple-write.0.0: No space left on device: write offset=52638969856, buflen=4096
{
"fio version" : "fio-3.7",
"timestamp" : 1578468421,
"timestamp_ms" : 1578468421512,
"time" : "Wed Jan 8 07:27:01 2020",
"jobs" : [
{
"jobname" : "simple-write",
"groupid" : 0,
"error" : 0,
"eta" : 0,
"elapsed" : 149,
"job options" : {
"rw" : "write",
"buffered" : "1",
"bs" : "4k",
"ioengine" : "libaio",
"directory" : "/target",
"fill_device" : "1"
},
"read" : {
"io_bytes" : 0,
"io_kbytes" : 0,
"bw_bytes" : 0,
"bw" : 0,
"iops" : 0.000000,
"runtime" : 0,
"total_ios" : 0,
"short_ios" : 0,
"drop_ios" : 0,
"slat_ns" : {
"min" : 0,
"max" : 0,
"mean" : 0.000000,
"stddev" : 0.000000
},
"clat_ns" : {
"min" : 0,
"max" : 0,
"mean" : 0.000000,
"stddev" : 0.000000,
"percentile" : {
"1.000000" : 0,
"5.000000" : 0,
"10.000000" : 0,
"20.000000" : 0,
"30.000000" : 0,
"40.000000" : 0,
"50.000000" : 0,
"60.000000" : 0,
"70.000000" : 0,
"80.000000" : 0,
"90.000000" : 0,
"95.000000" : 0,
"99.000000" : 0,
"99.500000" : 0,
"99.900000" : 0,
"99.950000" : 0,
"99.990000" : 0
}
},
"lat_ns" : {
"min" : 0,
"max" : 0,
"mean" : 0.000000,
"stddev" : 0.000000
},
"bw_min" : 0,
"bw_max" : 0,
"bw_agg" : 0.000000,
"bw_mean" : 0.000000,
"bw_dev" : 0.000000,
"bw_samples" : 0,
"iops_min" : 0,
"iops_max" : 0,
"iops_mean" : 0.000000,
"iops_stddev" : 0.000000,
"iops_samples" : 0
},
"write" : {
"io_bytes" : 52638969856,
"io_kbytes" : 51405244,
"bw_bytes" : 355971772,
"bw" : 347628,
"iops" : 86907.177732,
"runtime" : 147874,
"total_ios" : 12851312,
"short_ios" : 0,
"drop_ios" : 0,
"slat_ns" : {
"min" : 2123,
"max" : 1877670923,
"mean" : 10619.164491,
"stddev" : 1295004.136689
},
"clat_ns" : {
"min" : 559,
"max" : 503883,
"mean" : 597.424963,
"stddev" : 334.725902,
"percentile" : {
"1.000000" : 572,
"5.000000" : 572,
"10.000000" : 572,
"20.000000" : 580,
"30.000000" : 580,
"40.000000" : 580,
"50.000000" : 580,
"60.000000" : 588,
"70.000000" : 588,
"80.000000" : 588,
"90.000000" : 596,
"95.000000" : 604,
"99.000000" : 780,
"99.500000" : 868,
"99.900000" : 1976,
"99.950000" : 7392,
"99.990000" : 11968
}
},
"lat_ns" : {
"min" : 2750,
"max" : 1877675884,
"mean" : 11260.353627,
"stddev" : 1295013.364993
},
"bw_min" : 8,
"bw_max" : 1046704,
"bw_agg" : 100.000000,
"bw_mean" : 369150.841727,
"bw_dev" : 237962.484144,
"bw_samples" : 278,
"iops_min" : 2,
"iops_max" : 261676,
"iops_mean" : 92287.737410,
"iops_stddev" : 59490.597358,
"iops_samples" : 278
},
"trim" : {
"io_bytes" : 0,
"io_kbytes" : 0,
"bw_bytes" : 0,
"bw" : 0,
"iops" : 0.000000,
"runtime" : 0,
"total_ios" : 0,
"short_ios" : 0,
"drop_ios" : 0,
"slat_ns" : {
"min" : 0,
"max" : 0,
"mean" : 0.000000,
"stddev" : 0.000000
},
"clat_ns" : {
"min" : 0,
"max" : 0,
"mean" : 0.000000,
"stddev" : 0.000000,
"percentile" : {
"1.000000" : 0,
"5.000000" : 0,
"10.000000" : 0,
"20.000000" : 0,
"30.000000" : 0,
"40.000000" : 0,
"50.000000" : 0,
"60.000000" : 0,
"70.000000" : 0,
"80.000000" : 0,
"90.000000" : 0,
"95.000000" : 0,
"99.000000" : 0,
"99.500000" : 0,
"99.900000" : 0,
"99.950000" : 0,
"99.990000" : 0
}
},
"lat_ns" : {
"min" : 0,
"max" : 0,
"mean" : 0.000000,
"stddev" : 0.000000
},
"bw_min" : 0,
"bw_max" : 0,
"bw_agg" : 0.000000,
"bw_mean" : 0.000000,
"bw_dev" : 0.000000,
"bw_samples" : 0,
"iops_min" : 0,
"iops_max" : 0,
"iops_mean" : 0.000000,
"iops_stddev" : 0.000000,
"iops_samples" : 0
},
"sync" : {
"lat_ns" : {
"min" : 0,
"max" : 0,
"mean" : 0.000000,
"stddev" : 0.000000,
"percentile" : {
"1.000000" : 0,
"5.000000" : 0,
"10.000000" : 0,
"20.000000" : 0,
"30.000000" : 0,
"40.000000" : 0,
"50.000000" : 0,
"60.000000" : 0,
"70.000000" : 0,
"80.000000" : 0,
"90.000000" : 0,
"95.000000" : 0,
"99.000000" : 0,
"99.500000" : 0,
"99.900000" : 0,
"99.950000" : 0,
"99.990000" : 0
}
},
"total_ios" : 0
},
"usr_cpu" : 8.353114,
"sys_cpu" : 27.498597,
"ctx" : 9500,
"majf" : 0,
"minf" : 20,
"iodepth_level" : {
"1" : 100.000000,
"2" : 0.000000,
"4" : 0.000000,
"8" : 0.000000,
"16" : 0.000000,
"32" : 0.000000,
">=64" : 0.000000
},
"latency_ns" : {
"2" : 0.000000,
"4" : 0.000000,
"10" : 0.000000,
"20" : 0.000000,
"50" : 0.000000,
"100" : 0.000000,
"250" : 0.000000,
"500" : 0.000000,
"750" : 98.191811,
"1000" : 1.513962
},
"latency_us" : {
"2" : 0.197637,
"4" : 0.019383,
"10" : 0.060476,
"20" : 0.012987,
"50" : 0.010000,
"100" : 0.010000,
"250" : 0.010000,
"500" : 0.000000,
"750" : 0.010000,
"1000" : 0.000000
},
"latency_ms" : {
"2" : 0.000000,
"4" : 0.000000,
"10" : 0.000000,
"20" : 0.000000,
"50" : 0.000000,
"100" : 0.000000,
"250" : 0.000000,
"500" : 0.000000,
"750" : 0.000000,
"1000" : 0.000000,
"2000" : 0.000000,
">=2000" : 0.000000
},
"latency_depth" : 1,
"latency_target" : 0,
"latency_percentile" : 100.000000,
"latency_window" : 0
}
],
"disk_util" : [
{
"name" : "rbd0",
"read_ios" : 35,
"write_ios" : 9010,
"read_merges" : 0,
"write_merges" : 9085,
"read_ticks" : 20979,
"write_ticks" : 23182697,
"in_queue" : 23199138,
"util" : 5.652565
}
]
}
이 작업에 왜 더 많은 공간이 필요한지 이해가 되지 않습니다. 이 작업을 실행한 후 "kubelet_volume_stats_used_bytes" 지표 아래에 나열된 fio PVC가 표시되지 않습니다.
또한 이상한 점은 내 클러스터에서 사용되는 저장 공간이 0.4GB에서 148GB로 급증했다는 것입니다.
내가 아는 한, 누군가 50GB만 사용해야 한다고 설명할 수 있나요?
답변1
글쎄요, fio 주위에 일종의 래퍼를 사용하고 있는 것 같습니다(왜냐하면fio 자체는 YAML을 작업 파일 형식으로 사용하지 않습니다.) 이로 인해 이 질문을 기꺼이 볼 수 있는 사람들의 수가 줄어듭니다... 하지만 fio JSON 출력을 포함함으로써 실제 작업 매개변수를 볼 수 있습니다 :-). 주요 내용은 다음과 같습니다.
"job options" : {
"rw" : "write",
"buffered" : "1",
"bs" : "4k",
"ioengine" : "libaio",
"directory" : "/target",
"fill_device" : "1"
},
그래서 당신은 설정하고 있습니다fill_device=1(이것을 별칭으로 설정하면 fill_fs=1) 남은 공간이 없을 때까지 파일 크기를 늘리려고 시도한 다음 해당 파일에 대한 I/O 수행을 시작합니다. 파일이 정리되지 않으면 향후 실행에서 여유 공간을 찾지 못하는 것을 볼 수 있습니다!
이 fio 명령은 얼마나 많은 저장 공간을 사용합니까?
너가 할 수있는만큼!
이 작업에 왜 더 많은 공간이 필요한지 이해가 되지 않습니다.
설정을 통해 말씀하셨기 때문에 모든 공간이 필요합니다 fill_fs=1.
내가 아는 한, 누군가 50GB만 사용해야 한다고 설명할 수 있나요?
왜 이것으로 제한해야 하는지 모르겠습니다. 구성에 50GB를 참조하는 항목이 있습니까?