☰

lustre

파일을 읽기 위해 hexdump를 사용하면 find의 희소 값(%S)이 변경되는 이유는 무엇입니까?
lustre

파일을 읽기 위해 hexdump를 사용하면 find의 희소 값(%S)이 변경되는 이유는 무엇입니까?

저는 Lustre 파일 시스템을 사용합니다. %S파일에 대한 find()의 희소 값을 본 다음 를 사용하여 해당 파일을 인쇄한 hexdump다음 find의 희소 값을 다시 보면 가끔 find( %S)의 희소 값이 변경되는 것을 발견했습니다 . 왜 바뀌었나요? %S희소 값 찾기( ) 명령을 사용하여 파일 보기 myvideo.mp4: find myvideo.mp4 -printf "%S" myvideo.mp4파일을 읽으려면 다음 명령을 사용하십시오 hexdump. hexdump myvideo.mp4 ...

Admin

이 경우 파일의 겉보기 크기가 실제 디스크 사용량보다 훨씬 큰 이유는 무엇입니까? (4.4GiB 대 512B)
lustre

이 경우 파일의 겉보기 크기가 실제 디스크 사용량보다 훨씬 큰 이유는 무엇입니까? (4.4GiB 대 512B)

폴더를 탐색하는 동안 ncdu파일의 겉보기 크기가 실제 디스크 사용량보다 훨씬 더 큰 경우가 있음을 발견했습니다. 예제를 살펴본 ncdu후 a디스크 사용량 표시와 명확한 표시 사이를 전환한 다음 i추가 세부정보 표시를 수행합니다. 이는 데이터의 일부만 "빠른" 계층에 유지하고 나머지는 더 느린 위치(예: AWS S3)에 유지하는 일부 자동화된 프로세스 때문일 수 있다는 말을 들었습니다. 어떻게 확인하나요? ~처럼제안통과크리스 탕hexdump, 다음은 해당 파일에서 실행된 부분 출력입니다. 이는 ...

Admin

광택 파일 시스템 벤치마크
lustre

광택 파일 시스템 벤치마크

단일 Lustre 클라이언트의 Lustre 설치 파일 시스템 저장 기능을 벤치마킹하고 싶습니다. 저는 스토리지 관리자가 아닌 애플리케이션 개발자이므로 여러 클라이언트의 스토리지 쓰기 대역폭 포화도에 대해 걱정하지 않고, 단일 애플리케이션 서버/Lustre 클라이언트가 한 번에 얼마나 쓸 수 있는지에 대해 걱정합니다. 내 응용 프로그램의 성능. 내가 찾은이 페이지에는 여러 벤치마크가 있습니다., 하지만 모두가 하나의 클라이언트를 사용하는 대신 여러 클라이언트를 동시에 구성하는 데 관심이 있는 것 같습니...

Admin

Luster FS, RHEL 8을 사용하는 openat 시스템 호출의 strace 오류, 전체 간헐적 지연
lustre

Luster FS, RHEL 8을 사용하는 openat 시스템 호출의 strace 오류, 전체 간헐적 지연

이렇게 간헐적으로 지연되는 원인이 무엇인지 아는 사람이 있습니까? 각기 다른 시간에 로그인, 컴퓨팅 및 헤드 노드에서 모든 명령이 느려지고 Lustre와 관련된 로그인만 느려집니다. 즉, 루트 로그인과 로컬 로그인에는 이러한 지연이 없습니다. openat 시스템 호출의 45 오류는 정상적으로 들리지 않습니다. strace -ttt -T -C -w touch newfilethat 1662064377.602061 execve("/usr/bin/touch", ["touch", "newfiletha...

Admin

Vagrant(Virtualbox, Centos 7)에 FSx를 마운트하려고 할 때 "MGS가 실행 중입니까?" 오류를 수정하는 방법
lustre

Vagrant(Virtualbox, Centos 7)에 FSx를 마운트하려고 할 때 "MGS가 실행 중입니까?" 오류를 수정하는 방법

AWS VPC에 대한 openVPN 게이트웨이를 실행하고 있습니다. 일반적으로 다음 명령을 사용하여 베어 메탈 CENTOS7 시스템에 Lustre용 AWS FSx를 설치할 수 있습니다. sudo mount -t lustre -o noatime,flock 10.1.1.90@tcp:/fsx /fsx 그러나 동일한 네트워크에 있는 방랑하는 CENTOS 7 시스템에서 동일한 작업을 수행하려고 하면 다음과 같은 명백한 네트워크 관련 오류가 발생합니다. [vagrant@localhost ~]$ sudo mou...

Admin

Lustre 및 HPC 구성
lustre

Lustre 및 HPC 구성

하나의 헤드 노드가 마스터 노드로 실행되는 22노드 HPC 클러스터가 있습니다.Rocks 클러스터 운영 체제(CentOS 기반). 노드와 마스터 노드는 10.10.0.0/16사설망( )을 통해 통신합니다. 우리는 ssh라우팅된 공용 네트워크( 192.168.xxx.xxx/24)를 사용하여 서버에 연결하고 있으며 이 네트워크는 작업자 노드로 라우팅되지 않습니다. 이제 데이터가 한계에 도달하여 더 이상 마스터에 디스크를 추가할 수 없습니다. 이제 우리는광택 클러스터OSS 2개와 MDS 1개로 구성됩...

Admin

스트라이프 디렉토리 광택
lustre

스트라이프 디렉토리 광택

Lustre에서 디렉토리에 기본 레이아웃이 있으면 정확히 무슨 일이 발생합니까? 내가 아는 한, 디렉터리에 기본 레이아웃이 있는 경우 해당 디렉터리에 설정된 모든 스트라이핑 매개변수는 해당 디렉터리에서 생성된 파일에 적용됩니다(명시적으로 언급하지 않는 한). 그러나 시도했지만 볼 수 없습니다. 나는 디렉토리=2()의 스트라이프 수를 언급하고 다음 lfs setstripe -c 2 /mnt/lustre/directory을 사용하여 그 안에 파일을 생성했지만 lfs setstripe /mnt...

Admin

File of Doom은 상호 작용을 시도하는 모든 컴퓨터를 정지시킵니다.
lustre

File of Doom은 상호 작용을 시도하는 모든 컴퓨터를 정지시킵니다.

내부 서버에 상호 작용하는 모든 컴퓨터가 즉시 정지되고 되돌릴 수 없게 되는 파일이 있습니다. 상호작용이란 무엇이든 의미합니다: rm, , , , , , , . (문제 없습니다.) 다음 명령 중 하나를 시도하면 시스템이 완전히 정지됩니다. GUI가 정지되고 모든 네트워크 연결이 끊어집니다. 파일을 호스팅하는 서버는 Windows 컴퓨터가 파일과 상호 작용을 시도할 때만 종료됩니다.mvcpcatvigeditlesstouchls 데이터 서버에는 Lustre가 설치되어 있으며 관련 서버는 모두 RHEL ...

Admin

Lustre에서 작은 파일이 많은 디렉터리 삭제
lustre

Lustre에서 작은 파일이 많은 디렉터리 삭제

삭제하고 싶은 매우 작은 파일이 많이 포함된 디렉터리가 있는데 단순히 디렉터리를 삭제하는 rm -rf /path/to/the/dir데 며칠이 걸렸습니다. 이것이 느리다는 것이 이상하게 들리지만 디렉토리는 일반 파일 시스템의 디렉토리가 아닙니다. 클러스터의 Lustre 파일 시스템에 있는 디렉터리입니다. rmLustre가 설치된 클러스터 노드 A에서 이 명령을 실행하고 있지만 Luster의 백엔드에는 노드 B와 노드 C에 하나씩 총 2개의 ZFS 파일 시스템이 있으므로 모든 네트워크 트래픽이 속도 ...

Admin