페이지 캐시에 데이터를 저장하지 않고 미리 읽기로 읽기 I/O를 최적화합니다.

Question 1

직접 I/O는 운영 체제 읽기 및 쓰기 캐시를 우회하여 애플리케이션에서 저장 장치로 직접 파일을 읽고 쓰는 파일 시스템의 기능입니다. 직접 I/O는 자체 캐시(예: 데이터베이스)를 관리하는 애플리케이션에서만 사용됩니다.

애플리케이션은 이 플래그가 있는 파일을 열어 직접 I/O를 호출합니다 O_DIRECT.

예를 들어:

int fd = open( filename, O_RDONLY | O_DIRECT );

Linux의 직접 IO는 이상하고 몇 가지 제한 사항이 있습니다. 애플리케이션 IO 버퍼는 페이지 정렬되어야 하며 일부 파일 시스템에서는 각 IO 요청이 페이지 크기의 정확한 배수여야 합니다. 이 마지막 제한으로 인해 파일의 마지막 부분을 읽고 쓰는 것이 어려울 수 있습니다.

애플리케이션에서 미리 읽기를 처리하는 코딩하기 쉬운 방법은 fdopen대규모 페이지 정렬 버퍼를 사용하고 설정하여 수행 할 수 있습니다 posix_memalign.setvbuf

// should really get page size using sysconf()
// but beware of systems with multiple page sizes
#define ALIGNMENT ( 4UL * 1024UL )
#define BUFSIZE ( 1024UL * 1024UL )
char *buffer;
...

int fd = open( filename, O_RDONLY | O_DIRECT );
FILE *file = fdopen( fd, "rb" );

int rc = posix_memalign( &buffer, ALIGNMENT, BUFSIZE );
rc = setvbuf( file, buffer, _IOFBF, BUFSIZE );

mmap()이를 사용하여 버퍼에 사용할 익명 메모리를 얻을 수도 있습니다 . 이것의 장점은 자연스러운 페이지 정렬입니다.

...
char *buffer = mmap( NULL, BUFSIZE, PROT_READ | PROT_WRITE,
    MAP_ANONYMOUS | MAP_PRIVATE, -1, 0 );
rc = setvbuf( file, buffer, _IOFBF, BUFSIZE );

그런 다음 스트림 에서 읽으려는 유형에 대해 fread()/ fgets()또는 읽기 기능을 사용하십시오 .FILE *file

strace예를 들어 실제 시스템 호출이 페이지 정렬 및 페이지 크기 버퍼로 수행되는지 여부 를 확인하려면 도구를 사용해야 합니다. 스트림 처리를 기반으로 하는 일부 C 라이브러리 구현은 IO 버퍼링에만 지정된 버퍼를 read사용하지 않으므로 정렬 변형 패턴이나 사이즈가 발생할 수 있습니다. Linux/glibc에서는 이 작업을 수행하지 않을 것 같지만 확인하지 않고 크기 및/또는 정렬을 해제하면 IO 호출이 실패합니다.FILE *setvbuf

다시 말하지만 Linux 직접 IO는 이상할 수 있습니다. 특정 파일 시스템만 직접 IO를 지원하며 그 중 일부는 다른 파일 시스템보다 더 전문적입니다. 시험사용하기로 결정했다면 철저하게 사용하십시오.

게시된 코드는 스트림의 버퍼를 채워야 할 때마다 1MB의 미리 읽기를 수행합니다. 스레드를 사용하여 더 복잡한 미리 읽기를 구현할 수도 있습니다. 한 스레드는 버퍼를 채우고 다른 스레드는 전체 버퍼에서 읽습니다. 이렇게 하면 미리 읽기가 완료될 때 "더벅거림"을 방지할 수 있지만 상대적으로 복잡한 멀티 스레드 코드가 많이 발생합니다.

Answer

사용직접 IO: