다음과 같은 해시 기반 파일 시스템이 있습니까?
- 콘텐츠의 해시로 인덱싱되는 블록 저장소(512b, 4KB 또는 128KB일 수 있음)가 있습니다.
- 각 블록에는 사용 횟수가 있습니다. 0에 도달하면 블록의 저장소가 해제됩니다.
- 파일은 단지 블록 해시의 길이와 목록일 뿐입니다.
이를 통해 다음과 같은 다양한 최적화가 가능해집니다.
- 대용량 파일은 거의 무료로 복사가 가능합니다(필요한 시간과 저장공간 측면에서).
- 대용량 파일의 복사본은 쓰기 중 복사를 사용하여 최소한의 디스크 공간을 차지하면서 변경 사항을 저장합니다.
- 파일 동등성 계산이 빨라집니다.
그러한 파일 시스템이 이미 존재합니까?
그렇지 않다면 실현 가능하지 않거나 좋은 생각입니까?
답변1
중복 제거 기능이 있는 COW(기록 중 복사) 파일 시스템에 대해 이야기하고 있는 것 같습니다. 둘 다ZFS그리고BTRFS어느 정도는 이렇게 작동합니다. Btrfs는오프라인 중복 제거중복된 블록을 일정 기간 작성한 후 병합할 수 있는 도구입니다. ZFS는 온라인 중복 제거를 수행할 수 있습니다..
온라인 중복 제거가 좋은 생각인가요? 사용 사례에 따라 다르지만 그렇지 않을 수도 있습니다. ZFS Wikipedia 기사에 따르면 "중복 제거를 효과적으로 사용하려면 더 많은 양의 RAM이 필요할 수 있습니다. 스토리지 TB당 1~5GB의 RAM이 권장됩니다." 오프라인 중복 제거는 더 많은 상황에서 실용적일 수 있습니다.