Linux의 대용량 파일(백업)을 위한 안정적인 파일 시스템

Linux의 대용량 파일(백업)을 위한 안정적인 파일 시스템

백업에 가장 적합한 파일 시스템은 무엇입니까? 나는 주로 안정성(특히 하드 재부팅 중 파일 무결성 등)에 관심이 있지만 대용량(>5GB) 파일을 처리하는 효율성도 중요합니다.

또한 어떤 설치 매개변수를 사용해야 합니까?

커널은 Linux >= 2.6.34입니다.

편집하다:그래요아니요백업 방법을 원합니다. 이를 저장하려면 파일 시스템이 필요합니다.

답변1

당신은 그것을 사용할 수 있습니다외부 4journal_data그러나 초기 문제를 일으킬 수 있는 dealloc(지연 할당)을 끄는 모드 설치를 사용하는 것이 좋습니다 . 할당 해제를 비활성화하면 새 데이터 쓰기가 느려지지만 정전 중에 쓰기가 손실될 가능성이 줄어듭니다. 또한 Dealloc을 사용하지 않고 비활성화할 수 있다는 점을 언급해야 합니다 journal_data. 이는 약간 향상된 읽기 및 더 나은 복구와 같은 몇 가지 다른 이점이 있습니다(또는 적어도 ext3에서는 가능합니다).

범위는 여전히 조각화 문제에 도움이 됩니다. 범위를 사용하면 ext3보다 대용량 파일을 훨씬 빠르게 삭제할 수 있으며, 모든 크기의 데이터(단일 파일) 삭제는 ext4에서는 거의 즉각적으로 이루어지지만 ext3에서는 시간이 오래 걸릴 수 있습니다. (모든 범위 기반 FS에는 이러한 이점이 있습니다)

ext4는 fsckext3보다 빠릅니다.

마지막으로 ext4에서 2.6.31까지 버그 수정이 있습니까? 기본적으로 LTS 커널인 2.6.32 이전 커널을 실행하고 있지 않은지 확인하겠습니다.

답변2

XFS는 매우 견고하며 수년 동안 커널에 사용되었습니다. xfs_freeze와 같은 도구를 확인하여 원하는 것이 맞는지 확인하세요. 나는 이것이 매우 주관적이라는 것을 알고 있지만 수년 동안 아무런 문제 없이 데이터 저장을 위해 XFS를 사용해 왔습니다.

답변3

체크섬을 지원하는 백업 도구를 사용하세요. 예를 들어다르그렇습니다. 증분 백업을 지원합니다. 그런 다음 ext3과 같은 견고한 파일 시스템에 백업할 수 있습니다.

백업을 위해서는 견고하고 매우 안정적인 것이 필요합니다. 그리고 btrfs 또는 ZFS는 아직 준비되지 않았습니다.

답변4

IMHO, 다른 답변에서 논의되지 않은 매우 중요한 측면 중 하나는디스크 레이아웃의 안정성 특성파일 시스템(예: 가능한 후보 문서 참조)외부 4,BTFS)

코드베이스 및 코드베이스 파일 시스템 드라이버의 테스트 양은 중요하지만 다른 답변에서 이미 지적했듯이읽기 및 쓰기 중 데이터 보호, 이것디스크 레이아웃/형식 정보읽을 수 없는 섹터 또는 침묵과 같은 하드웨어 결함 형태로 저장되어 있는 데이터의 위험으로부터 보호됩니까?비트 썩음.

About 은 ext4오랫동안 테스트된 코드 기반으로 인해 좋은 기능을 가지고 있다고 합니다(https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0.pdf현대적이고 복잡한 경우보다 버그를 찾는 데 시간이 더 오래 걸린다는 것을 보여줍니다 btrfs.)정지 상태에서 ext4의 저항 연구그리고 다른 사람들이 칭찬한 파일 시스템의 IMHO 단점을 발견했습니다.

나는 그것이 신중하다고 생각합니다 (당신이 "를 선택한다면 ext4"견고한 백업 파일 시스템e2image") 개발자가 제공한 도구를 사용하여 ext4복구 가능성을 향상합니다("강화"하더라도).

e2image 프로그램은 장치의 중요한 ext2, ext3 또는 ext4 파일 시스템 메타데이터를 image-file에 지정된 파일에 저장합니다. 이러한 프로그램의 -i 옵션을 사용하여 dumpe2fs 및 debugfs로 이미지 파일을 검사할 수 있습니다. 이는 전문가가 심각하게 손상된 파일 시스템을 복구하는 데 도움이 됩니다. 앞으로 e2fsck는 심각하게 손상된 파일 시스템을 복구하는 데 도움이 되도록 이미지 파일을 사용하도록 향상될 것입니다.

그리고추천하다.

시스템의 모든 파일 시스템에 대한 이미지 파일을 생성하고 파티션 레이아웃(fdisk -l 명령을 사용하여 생성할 수 있음)을 주기적으로(시작 시 및/또는 매주 정도) 저장하는 것은 매우 좋은 생각입니다. 이미지 파일은 심각한 파일 시스템 손상이 발생한 경우 데이터에 액세스할 수 있도록 데이터가 포함된 파일 시스템이 아닌 다른 파일 시스템에 저장되어야 합니다.

모든 메타데이터도 아니라는 점을 고려하면ext4 디스크 레이아웃에중복성을 제공하기 위해(즉, 슈퍼블록은 종종 여러 번 복사본으로 저장되고, indo는 정확히 1개의 위치에만 저장됨) 이는 최소한 다음 항목에 대한 체크섬을 제공하는 것만큼 좋지 않습니다 ext4.btrfs모두메타데이터+파일 콘텐츠 데이터.

이 "단점"을 보완하기 위해 ext4더욱 rock-solid중요 하게 만듭니다.디스크 레이아웃에par2보충 파일을 통한 콘텐츠의 중복 및 복구가 정당화될 수 있습니다.패치웨이

이 질문은 파일 시스템 솔루션에 대한 주의가 필요하지만 파일 시스템에서 제공하는 대부분의 기능(캐싱, 로깅, 할당 공간 회수, 블록 할당 등)이 반드시 백업 데이터에 도움이 되는 것은 아니라는 사실에 주목하고 싶습니다. 쓰기와 읽기가 일괄적으로, 소량으로만 수행되면 많은 일이 발생할 수 있습니다. 이러한 이유로 프로세스에서 더 적은 코드 기반이 사용되어 "기능"이 적으면 버그도 적기 때문에 parchive보완 백업을 보다 최적화된 백업 솔루션으로 사용하는 것을 고려할 것입니다.tar

관련 정보