distributed-filesystem

컴퓨터 간 미러 디스크
distributed-filesystem

컴퓨터 간 미러 디스크

LVM을 사용하여 두 컴퓨터 간에 논리 디스크를 미러링하고 싶습니다. 즉, 두 대의 서로 다른 컴퓨터에 파일 시스템의 완전한 복사본을 갖고 싶습니다. 나는 가급적이면 중요한 추가 기능 없이 Linux에서 이 작업을 수행하고 싶습니다. 이상적으로는 모든 컴퓨터에서 로컬로 액세스하고 NFS로 다른 컴퓨터에 게시할 수 있기를 바랍니다. 한 가지 해결책은 iSCSI 또는 NBD(네트워크 블록 장치) 등이 있는 시스템에 "디스크"를 게시하고 RAID 미러를 사용한 다음 파일 시스템을 사용한 다음 NFS를 사용...

Admin

Opensolaris는 분산 ZFS 파일 시스템을 제공합니까?
distributed-filesystem

Opensolaris는 분산 ZFS 파일 시스템을 제공합니까?

나는 운이 좋지 않았다확인됨이 질문에 대한 예 또는 아니오입니다. ZFS를 분산 파일 시스템(예: Gluster 또는 CEPH)으로 실행하고 싶습니다. Linux의 OpenZFS 및 ZFS에는 아직 파일 시스템 클러스터링이 없습니다. 제가 이해한 바에 따르면 분산은 현재 독점(유료) Solaris에서 ZFS의 기능입니다.Opensolaris에서도 사용할 수 있나요? 클러스터는 각각 자체 JBOD를 사용하는 두 개의 독립 서버와 함께 사용됩니다. 따라서 크로스 네트워크(10Gb ETH) 솔루션이 ...

Admin

fstab에 항목을 추가하면 패닉 모드가 발생함
distributed-filesystem

fstab에 항목을 추가하면 패닉 모드가 발생함

이것이 내 로컬 시스템 구성입니다. NAME="elementary OS" VERSION="5.0 Juno" 이 명령을 통해 원격 서버의 파일 시스템을 하위 디렉터리에 마운트했는데 제대로 작동했습니다. sudo sshfs -o allow_other [email protected]: /mnt/Production_server 터미널은 먼저 로컬 sudo 비밀번호를 묻는 메시지를 표시한 다음 원격 비밀번호를 묻는 메시지를 표시합니다. (로컬 ed25519 공개 키를 원격 ed25519 공...

Admin

Debian Stretch에서 gfs2 파일 시스템을 마운트할 수 없습니다. dlm 구성 오류일까요?
distributed-filesystem

Debian Stretch에서 gfs2 파일 시스템을 마운트할 수 없습니다. dlm 구성 오류일까요?

Debian Stretch에서 gfs2를 사용하려고 하는데 몇 가지 어려움을 겪고 있습니다. 저는 꽤 경험이 많은 Linux 관리자이지만 공유 디스크와 병렬 파일 시스템은 처음 사용합니다. 현재 프로젝트는 gfs2 형식 iscsi 내보내기 장치를 여러 클라이언트에 공유 파일 시스템으로 설치하는 것입니다. 지금은 HA나 펜싱에 관심이 없지만 미래에는 중요해질 수도 있습니다. iscsi 부분은 괜찮습니다. 대상에 로그인하여 xfs 파일 시스템으로 포맷하고 여러 클라이언트에 마운트하고 동일한 blkid...

Admin

OpenAFS에 내 홈 디렉토리를 유지하는 것을 고려하는 것이 미친 짓입니까?
distributed-filesystem

OpenAFS에 내 홈 디렉토리를 유지하는 것을 고려하는 것이 미친 짓입니까?

저는 직업상 시스템 관리자이고 집에서 재미로 일을 합니다. 나는 Gentoo Linux 노트북, Raspian을 실행하는 Raspberry Pi, Gentoo 서버, Debian을 실행하는 ARM 장치 및 다양한 Android 장치를 가지고 있습니다. 나는 항상 엿보는 눈으로부터 합리적으로 안전하게 유지하면서 다른 장치 간에 내 홈 디렉토리를 백업하고 동기화하는 것에 대해 고민하고 걱정하고 있습니다. 나는 1980년대에 카네기 멜론 대학교에서 앤드루를 만났는데 그것은 마치 마법 같았습니다. 연결이 ...

Admin

pnfs용 MDS(메타데이터 서버) 클러스터
distributed-filesystem

pnfs용 MDS(메타데이터 서버) 클러스터

긴 이야기 짧게 pNFS는 중앙 집중식 공유 스토리지에 대한 다중 동시 액세스를 제공하는 좋은 방법처럼 보이지만 문제가 있습니다. NFS 메타데이터(메타데이터 서버, MDS)를 제공하는 단일 NFS 서버는 단일 실패 지점입니다. MDS에 액세스할 수 없게 되면 곧 공유 스토리지에도 액세스할 수 없게 됩니다. 이 문제를 방지하기 위해 MDS 클러스터를 설정하고 싶습니다. 어떻게 이를 달성할 수 있나요?중앙 집중식 스토리지에 대한 클라이언트 직접 I/O를 거부하지 마십시오.? HA-NFS를 위한 몇...

Admin

Linux의 ZFS 읽기 전용 마운트 + Solaris의 동기 읽기-쓰기 마운트
distributed-filesystem

Linux의 ZFS 읽기 전용 마운트 + Solaris의 동기 읽기-쓰기 마운트

우리는 정기적으로 (네트워크를 사용하여) Solaris에서 Linux로 상당히 큰 파일을 복사해야 합니다. 현재 파일 하나에 거의 반나절이 걸립니다. Solaris의 파일은 ZFS 파일 시스템에 있습니다. 그래서 저는 이것이 너무 나쁘다고 생각했습니다. 아마도 Linux에 ZFS를 설치할 수 있을 것입니다. 그러나 ZFS는 클러스터된(또는 클러스터 가능한) 파일 시스템이 아닙니다. 가설: 그렇다면 우리는 Solaris에서 복사하고 있기 때문에 가능하다고 생각합니다. 동일한 ZFS 파일 시스템을 ...

Admin

디렉토리를 이동하는 방법은 무엇입니까?
distributed-filesystem

디렉토리를 이동하는 방법은 무엇입니까?

Spark에서 생성한 일부 xxxxx 파일의 하위 디렉터리가 포함된 HDFS 디렉터리가 있습니다. 이 디렉토리(및 그 안의 모든 항목)를 새 디렉토리로 이동하고 싶습니다. 어떻게? 내 시도: [gsamaras@gwta3000 ~]$ hadoop fs -mv  /projects/landmarks/ /projects/landmarks/all/ mv: ` /projects/landmarks/': No such file or directory [gsamaras@gwta3000 ~]$ hadoop fs...

Admin

start-dfs.sh 확인
distributed-filesystem

start-dfs.sh 확인

마스터가 내 노트북이고 슬레이브가 virtualbox인 Hadoop 클러스터를 설정하려고 합니다.가이드. 그래서 내가 그랬어.주인: gsamaras@gsamaras:/home/hadoopuser/hadoop/sbin$ sudo ./start-dfs.sh Starting namenodes on [master] root@master's password: master: namenode running as process 2911. Stop it first. root@master's password: ro...

Admin

병렬, 분산, 기존 파일 시스템
distributed-filesystem

병렬, 분산, 기존 파일 시스템

나는 아주 기본적인 수준에서 이 세 가지 파일 시스템의 차이점을 이해하려고 노력하고 있습니다. 분산 파일 시스템: HDFS 병렬 FS: 광택 기존 파일 시스템: ext4/ext3/NTFS/FAT 등 이 세 가지 파일 시스템 간의 기본 개념적 차이점이 무엇인지 알고 싶습니다. 내 지식의 대부분은 전통적인 파일 시스템, 즉 ext3/4에 있습니다.슈퍼블록, 인덱스노드 등. MPI 기반 프로세스(np=8)가 파일 시스템에서 파일을 읽거나 파일 A에 쓰려고 시도하는 경우 이러한 컨텍스트에서...

Admin

clvm (cman)에 dlm 문제가 있습니다
distributed-filesystem

clvm (cman)에 dlm 문제가 있습니다

clvm을 사용하여 두 서버에서 액세스할 수 있는 볼륨 그룹을 생성하려고 합니다. 나는 그것에 대해 읽었고 cman을 사용하여 이 작업을 수행하는 것이 가장 쉬운 것 같습니다. 그러나 몇 시간 동안 테스트한 후에도 작업 설정을 달성할 수 없습니다. clvmd를 시작할 수 없고 이유를 찾을 수 없어 답답합니다. 로컬 소켓에 연결할 수 없다고 나오는 이유는 무엇입니까? 소켓은 무엇을 의미합니까? 몇 초 후에 dlm에 문제가 발생합니다(아래 참조). # clvmd -fd2 -I cman local soc...

Admin