☰

빅 데이터 + 올바른 파일 시스템 ext4 또는 xfs는 무엇입니까?

tag-icon • tag-icon linux filesystems rhel ext4 xfs
빅 데이터 + 올바른 파일 시스템 ext4 또는 xfs는 무엇입니까?

xfs 파일 시스템을 갖춘 Linux Redhat 버전 7.2가 있습니다.

from /etc/fstab

/dev/mapper/vgCLU_HDP-root /                       xfs     defaults        0 0
UUID=7de1ab5c-b605-4b6f-bdf1-f1e8658fb9 /boot                   xfs     defaults        0 0
/dev/mapper/vg
/dev/mapper/vgCLU_HDP-root /                       xfs     defaults        0 0
UUID=7de1dc5c-b605-4a6f-bdf1-f1e869f6ffb9 /boot                   xfs     defaults        0 0
/dev/mapper/vgCLU_HDP-var /var                    xfs     defaults        0 0 var /var                    xfs     defaults        0 0

이 머신은 hadoop 클러스터에서 사용됩니다.

이 목적에 가장 적합한 파일 시스템이 무엇인지 궁금합니다.

그렇다면 hadoop 클러스터에 사용되는 시스템에는 EXT4와 XFS 중 어느 것이 더 좋습니까?

답변1

이 시간은이 기술 자료 문서;주요 고려 사항은 사용 가능한 지원 수준입니다. Ext4는 최대 50TB를 지원하고 XFS는 최대 500TB를 지원합니다. 정말 큰 데이터의 경우 기본적으로 RHEL 7의 GFS2를 의미하는 공유 스토리지를 보게 될 것입니다. 그러나 Hadoop의 경우 HDFS 또는 GlusterFS를 사용하게 됩니다.

RHEL의 로컬 스토리지의 경우 기본값은 XFS이며, 특별한 이유가 없는 한 일반적으로 사용해야 합니다.

답변2

XFS는 특히 대용량 파일의 경우 놀라운 파일 시스템입니다. 작업에 작은 파일이 많이 포함된 경우 정기적인 조각 모음을 수행하면 성능이 향상될 수 있습니다. 저는 이에 대해 걱정하지 않고 XFS를 사용하여 모든 로드를 처리합니다. 잘 지원되므로 사용하지 않을 이유가 없습니다.

일반적인 워크로드에 가장 적합한 시스템을 찾으려면 다양한 파일 시스템을 직접 테스트할 수 있는 머신과 디스크를 따로 마련해 두십시오. 전체 디스크에 걸쳐 테스트 로드를 단계별로 진행하면 테스트 중인 파일 시스템이 어떻게 작동하는지 알 수 있습니다.

확실히 알 수 있는 유일한 방법은 기계의 부하를 테스트하는 것입니다.

관련 정보