데이터 노드 머신(각 데이터 노드 머신에는 서비스 노드 관리자도 포함)이 포함된 Hadoop 클러스터가 있고 487모든 머신은 물리적 머신(DELL)이며 운영 체제는 RHEL 버전 7.9입니다. 각 데이터 노드 머신에는 12개의 디스크가 있으며 각 디스크 크기는 12T입니다. HDP 패키지(이전에는 Horton-works, 현재는 Cloudera)에서 설치된 Hadoop 클러스터 유형 사용자는 데이터 노드 시스템에서 실행되는 느린 Spark 애플리케이션에 대해 불평합니다. 조사 후 데이터 노드 로그에...
NameNode 프로세스는 JVM(Java Virtual Machine)에서 실행되며, NameNode에서 생성된 Java 객체는 JVM(Java Virtual Memory)에서 관리됩니다. 파일이나 디렉터리가 생성되면 힙 메모리에 inode 객체와 블록 객체가 생성됩니다. 네임스페이스로 관리되는 자바 객체의 크기는 150바이트에 가깝다. 초기에는 객체 크기가 작았기 때문에 상당한 양의 객체를 파일 시스템에 저장할 수 있었다. 이제 namnode 힙 크기를 조정한다고 가정해 보겠습니다. 네임노드 힙 ...
CentOS 9 및 Hadoop 3.1.1을 사용하여 개인 컴퓨터에 Hadoop 의사 클러스터를 구축하고 있습니다. 나는 hadoop 설치를 마치고 조금 가지고 놀았는데 모든 것이 괜찮습니다. 나중에 jps를 실행했을 때 namenode 데몬이 실행되지 않았습니다. 그래서 Google에서 검색한 가이드에 따라 namenode 및 datanode 디렉터리를 삭제하고 다시 만들고 "hadoop namenode -format"을 실행한 다음 내 namenode(및 datanode) 데몬이 실행되었습니다. ...
우리는 265개의 Linux RHEL 시스템으로 구성된 Hadoop 클러스터를 보유하고 있습니다. 총 265개의 머신 중 HDFS 파일 시스템을 갖춘 230개의 데이터 노드 머신이 있습니다. 각 데이터 노드의 총 메모리는 128G이며 이러한 시스템에서 많은 Spark 애플리케이션을 실행합니다. 지난 달에 또 다른 Spark 애플리케이션을 추가했기 때문에 프로세스가 데이터 노드 시스템에서 더 많은 메모리를 차지했습니다. 우리는 그 캐시를 발견했습니다. 메모리는 매우 중요한 부분이며 머신에서 더 많은 프...
로그 파일 원시 데이터: READER_1_1_1> BIGQUERYV2_10000 [2022-11-04 01:55:20.724] [INFO] Job statistics - \n Job ID [job_PsfUvYJkPeBfecxeIzUUrIIa9TEc] \n Job creation time [2022-11-04 01:54:54.724] , \n Job start time [2022-11-04 01:54:54.936], \n Job end time [2022-11-04 01:55:10.88], \n ...
3개의 가상 머신이 있습니다. master@master-virtualbox 작업자1@작업자1-가상상자 작업자2@작업자2-가상상자 Worker1에서 master로 ssh ID를 복사하려고 하면 비밀번호를 묻는 메시지가 표시되지만 그것이 무엇인지 모르겠습니다. 비밀번호가 뭔지도 모르겠어요! 어쨌든, 나는 모든 컴퓨터에 대해 생성한 비밀번호를 시도했고(모두 동일한 비밀번호였습니다) 결국 다음과 같이 되었습니다. worker1@master-virtualbox: Permission denied (publi...
매번 오류가 표시되므로 Cloudera에서 Python을 업그레이드할 수 없습니다.나다음 명령을 실행하십시오. $ sudo yum install python27 error: No package python27 available. $ sudo yum install python36u error: No package python36u available 나는 또한 실행 yum install mrjob하지만 여전히 cloudera에서 Python을 업그레이드할 수 없습니다. ...
"start-dfs.sh" 명령을 사용하여 hadoop 클러스터를 시작하려고 하는데 다음 오류가 발생합니다. [마스터]에서 namenode 시작 master: ssh: connect to host master port 22: Connection refused 데이터 노드 시작 master: ssh: connect to host master port 22: Connection refused SSH 상태를 확인한 결과 다음과 같이 반환되었습니다. ssh.service - OpenBSD S...
나는 hadoop그것을 설치 했고 ssh.hadoopsbin/start-dfs.sh Starting namenodes on [localhost] localhost: ssh: connect to host localhost port 22: Connection refused Starting datanodes localhost: ssh: connect to host localhost port 22: Connection refused Starting secondary namenodes [chbpc-Virtu...
hadoop 클러스터에는 두 개의 네임노드가 있습니다. 다음은 좋은 상태를 반환하는 네임노드 중 하나의 좋은 예입니다. 첫 번째 네임노드 머신 IP -92.3.44.2 curl -v http://92.3.44.2:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeStatus * About to connect() to 92.3.44.2 port 50070 (#0) * Trying 92.3.44.2... * Connected to 92.3.44.2 (92...
우리는 HDP 버전 2.6.5를 사용하고 있으며 HDFS 블록 복제는 3입니다. 우리는 블록 복제 = 3이라는 사실을 기반으로 프로덕션 모드에서 데이터 노드 디스크의 최소 요구 사항을 이해하려고 노력했습니다. 프로덕션 클러스터에 대해 이야기하고 HDFS 복제본으로 다시 업그레이드하는 것이므로 = 3 데이터 노드 머신당 최소 디스크 수는 얼마입니까? ...
디스크에 xfs파일 시스템을 생성해야 합니다kafka 디스크의 특별한 점은 kafka디스크 크기입니다. kafka20TB우리의 경우 디스크의 크기는 다음과 같습니다. 다음에 대해 잘 모르겠지만 mkfs다음 cli가 xfs대용량 디스크( kafka머신) 에 파일 시스템을 생성하기에 충분한지 여부에 대한 조언이 필요합니다. DISK=sdb mkfs.xfs -L kafka /dev/$DISK -f 카프카 모범 사례 파일 시스템 선택 Kafka는 디스크의 일반 파일을 사...
HDFS 위치에 1년 간의 데이터가 있고 지난 6개월 동안의 데이터를 다른 HDFS 위치에 복사하고 싶습니다. hdfs 명령에서 직접 6개월치의 데이터를 복사할 수 있습니까? 아니면 지난 6개월치의 데이터를 복사하려면 쉘 스크립트를 작성해야 합니까? 나는 성공하지 않고 이 작업을 수행하기 위해 hdfs 명령을 사용해 보았습니다. 아래 쉘 스크립트를 사용해 보았고 TempFile이 생성될 때까지 제대로 작동하지만 오류가 발생합니다. $ sh scriptnew.sh scriptnew.sh: line...
내 목표는 VM VirtualBox에서 HDP를 실행하는 것입니다. 이 이미지는 내 포트 전달 규칙을 보여줍니다. 대시보드를 실행하려고 하면 내 호스트는 Ubuntu 18.04입니다. Port mapping output 8000/tcp open http-alt 8042/tcp open fs-agent 8081/tcp open blackice-icecap 8082/tcp open blackice-alerts 8086/tcp open d-s-n 8088/tcp open ...