CentOS 9 및 Hadoop 3.1.1을 사용하여 개인 컴퓨터에 Hadoop 의사 클러스터를 구축하고 있습니다. 나는 hadoop 설치를 마치고 조금 가지고 놀았는데 모든 것이 괜찮습니다. 나중에 jps를 실행했을 때 namenode 데몬이 실행되지 않았습니다. 그래서 Google에서 검색한 가이드에 따라 namenode 및 datanode 디렉터리를 삭제하고 다시 만들고 "hadoop namenode -format"을 실행한 다음 내 namenode(및 datanode) 데몬이 실행되었습니다. ...
우리는 265개의 Linux RHEL 시스템으로 구성된 Hadoop 클러스터를 보유하고 있습니다. 총 265개의 머신 중 HDFS 파일 시스템을 갖춘 230개의 데이터 노드 머신이 있습니다. 각 데이터 노드의 총 메모리는 128G이며 이러한 시스템에서 많은 Spark 애플리케이션을 실행합니다. 지난 달에 또 다른 Spark 애플리케이션을 추가했기 때문에 프로세스가 데이터 노드 시스템에서 더 많은 메모리를 차지했습니다. 우리는 그 캐시를 발견했습니다. 메모리는 매우 중요한 부분이며 머신에서 더 많은 프...
로그 파일 원시 데이터: READER_1_1_1> BIGQUERYV2_10000 [2022-11-04 01:55:20.724] [INFO] Job statistics - \n Job ID [job_PsfUvYJkPeBfecxeIzUUrIIa9TEc] \n Job creation time [2022-11-04 01:54:54.724] , \n Job start time [2022-11-04 01:54:54.936], \n Job end time [2022-11-04 01:55:10.88], \n ...
3개의 가상 머신이 있습니다. master@master-virtualbox 작업자1@작업자1-가상상자 작업자2@작업자2-가상상자 Worker1에서 master로 ssh ID를 복사하려고 하면 비밀번호를 묻는 메시지가 표시되지만 그것이 무엇인지 모르겠습니다. 비밀번호가 뭔지도 모르겠어요! 어쨌든, 나는 모든 컴퓨터에 대해 생성한 비밀번호를 시도했고(모두 동일한 비밀번호였습니다) 결국 다음과 같이 되었습니다. worker1@master-virtualbox: Permission denied (publi...
매번 오류가 표시되므로 Cloudera에서 Python을 업그레이드할 수 없습니다.나다음 명령을 실행하십시오. $ sudo yum install python27 error: No package python27 available. $ sudo yum install python36u error: No package python36u available 나는 또한 실행 yum install mrjob하지만 여전히 cloudera에서 Python을 업그레이드할 수 없습니다. ...
"start-dfs.sh" 명령을 사용하여 hadoop 클러스터를 시작하려고 하는데 다음 오류가 발생합니다. [마스터]에서 namenode 시작 master: ssh: connect to host master port 22: Connection refused 데이터 노드 시작 master: ssh: connect to host master port 22: Connection refused SSH 상태를 확인한 결과 다음과 같이 반환되었습니다. ssh.service - OpenBSD S...
나는 hadoop그것을 설치 했고 ssh.hadoopsbin/start-dfs.sh Starting namenodes on [localhost] localhost: ssh: connect to host localhost port 22: Connection refused Starting datanodes localhost: ssh: connect to host localhost port 22: Connection refused Starting secondary namenodes [chbpc-Virtu...
hadoop 클러스터에는 두 개의 네임노드가 있습니다. 다음은 좋은 상태를 반환하는 네임노드 중 하나의 좋은 예입니다. 첫 번째 네임노드 머신 IP -92.3.44.2 curl -v http://92.3.44.2:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeStatus * About to connect() to 92.3.44.2 port 50070 (#0) * Trying 92.3.44.2... * Connected to 92.3.44.2 (92...
우리는 HDP 버전 2.6.5를 사용하고 있으며 HDFS 블록 복제는 3입니다. 우리는 블록 복제 = 3이라는 사실을 기반으로 프로덕션 모드에서 데이터 노드 디스크의 최소 요구 사항을 이해하려고 노력했습니다. 프로덕션 클러스터에 대해 이야기하고 HDFS 복제본으로 다시 업그레이드하는 것이므로 = 3 데이터 노드 머신당 최소 디스크 수는 얼마입니까? ...
디스크에 xfs파일 시스템을 생성해야 합니다kafka 디스크의 특별한 점은 kafka디스크 크기입니다. kafka20TB우리의 경우 디스크의 크기는 다음과 같습니다. 다음에 대해 잘 모르겠지만 mkfs다음 cli가 xfs대용량 디스크( kafka머신) 에 파일 시스템을 생성하기에 충분한지 여부에 대한 조언이 필요합니다. DISK=sdb mkfs.xfs -L kafka /dev/$DISK -f 카프카 모범 사례 파일 시스템 선택 Kafka는 디스크의 일반 파일을 사...
HDFS 위치에 1년 간의 데이터가 있고 지난 6개월 동안의 데이터를 다른 HDFS 위치에 복사하고 싶습니다. hdfs 명령에서 직접 6개월치의 데이터를 복사할 수 있습니까? 아니면 지난 6개월치의 데이터를 복사하려면 쉘 스크립트를 작성해야 합니까? 나는 성공하지 않고 이 작업을 수행하기 위해 hdfs 명령을 사용해 보았습니다. 아래 쉘 스크립트를 사용해 보았고 TempFile이 생성될 때까지 제대로 작동하지만 오류가 발생합니다. $ sh scriptnew.sh scriptnew.sh: line...
내 목표는 VM VirtualBox에서 HDP를 실행하는 것입니다. 이 이미지는 내 포트 전달 규칙을 보여줍니다. 대시보드를 실행하려고 하면 내 호스트는 Ubuntu 18.04입니다. Port mapping output 8000/tcp open http-alt 8042/tcp open fs-agent 8081/tcp open blackice-icecap 8082/tcp open blackice-alerts 8086/tcp open d-s-n 8088/tcp open ...
내가 사용하고 있는 돼지의 버전을 알고 싶습니다. 설치했다고 생각했는데 # yum install hadoop\* mahout\* oozie\* hbase\* hive\* hue\* pig\* zookeeper\* Pig 스크립트를 입력하려고 하면 터미널이 다음을 반환합니다. # pig totalmiles.pig bash: pig: command not found... ...
hdfs 사용자로부터 다음 cli를 실행하면 정상적으로 작동합니다. # su hdfs $ hadoop fs -du -s /home/test/* | awk '{ sum += $1 } END { print sum }' 4182692 그러나 su -l hdfs를 사용하는 동안 루트에서 실행하면 다음과 같은 결과가 나타납니다. su -l hdfs -c " hadoop fs -du -s /home/test/* | awk '{ sum += $1 } END { print sum }'...