44TB의 gzip 파일이 있고 각 파일 크기는 압축 시 1.5GB, 압축되지 않은 경우 각각 2.0GB입니다. 압축되지 않은 파일만 읽을 수 있는 도구가 있습니다. 파일의 작은 부분에만 액세스하면 되므로 전체 파일의 압축을 풀고 결과를 디스크에 쓰는 오버헤드를 피하고 싶습니다. 이 도구는 gzip으로 압축된 데이터를 즉시 읽을 수 없습니다.
응용 프로그램의 관점에서 볼 때 파일의 모든 기능을 가지지만 데이터를 디스크에 저장하는 대신 메모리에서 즉석에서(아마도 캐시) 데이터를 계산하는 (읽기 전용) 파일 형식 개체를 생성하는 방법이 있습니까? )? 명명된 파이프를 시도해 볼 수 있지만 조회는 허용되지 않습니다. tmpfs로 압축을 푸는 것이 디스크로 압축을 푸는 것보다 약간 빠르지만(10-20%), 여전히 전체 파일의 압축을 풀어야 합니다. 쓰기 권한이 필요하지 않습니다.
머신에는 2TB의 RAM이 있으며 Red Hat Enterprise Linux Server 버전 6.7에서 실행됩니다. 데이터는 panfs 파일 시스템에 있습니다. 다른 파일 시스템은 작은(20GB) tmpfs와 일부 임시 공간(15TB가 다른 파일 시스템과 공유)입니다. 나에게는 시스템 관리자 권한이 없습니다.