RHEL에 Kafka를 설치하기 위한 일부 Ansible을 작성 중이고 서비스가 실행 중이며 네트워크에서 서비스에 액세스할 수 있도록 방화벽을 구성하려고 합니다. 내가 수신 대기 중인 포트를 보면 볼 것으로 예상됩니다 9092. 9093그러나 임의의 고급 포트에 세 번째 포트가 표시됩니다. # ss -lnp | grep java tcp LISTEN 0 50 *:9092 *:* ...
우리의 목표는 Kafka 머신에 200TB의 거대한 저장 공간을 사용하는 것입니다. 이 목표를 달성하기 위해 RAID10에서 LVM을 사용하여 4개의 물리적 디스크에 볼륨을 생성합니다. 각 디스크 크기는 50T입니다. RAID10참고 - RAID10당 12개의 디스크가 있는 경우 각 디스크는 실제로 sdb/sdc/sdd/sde입니다. Kafka 서버에는 4개의 디스크가 있습니다(예: lsblk). sdb 8:16 0 50T 0 disk sdc ...
우리는 Apache Kafka 서버에 매우 큰 문제에 직면해 있습니다. Kafka 서버는 "파일이 너무 많이 열려 있습니다." 프로덕션 Kafka 클러스터가 있습니다.7대, Kafka 버전은 다음과 같습니다.0.1 OS 버전 - RHEL 7.5 우리는 "kafka_user_nofile_limit" 도착하다500000, 원래 값은128000 하지만 우리는 다시 높은 가격을 기록했고 브로커들은 무너졌습니다 또한 Kafka 로그에 "열린 파일이 너무 많습니다"라는 줄이 많이 있음을 분명히 알 수 있습니다....
디스크에 xfs파일 시스템을 생성해야 합니다kafka 디스크의 특별한 점은 kafka디스크 크기입니다. kafka20TB우리의 경우 디스크의 크기는 다음과 같습니다. 다음에 대해 잘 모르겠지만 mkfs다음 cli가 xfs대용량 디스크( kafka머신) 에 파일 시스템을 생성하기에 충분한지 여부에 대한 조언이 필요합니다. DISK=sdb mkfs.xfs -L kafka /dev/$DISK -f 카프카 모범 사례 파일 시스템 선택 Kafka는 디스크의 일반 파일을 사...
최신 버전을 설치했는데 모듈 rsyslog이 없습니다 ! 이러한 모듈을 어떻게 추가할 수 있나요? 감사해요.omfwdomkafka ...
Kafka 소비자 도구가 Docker의 클러스터에 연결되지 않음 주문하다 docker-compose -f docker-compose.yaml up --force-recreate --remove-orphans Docker Compose 명령은 3개의 가상 머신( zookeeper, kafka, ) 을 시작합니다 kafka-create-topics. 세 번째 가상 머신은 새 주제를 생성 topic하고 여기에 메시지를 푸시한 후 사용을 시도합니다. 처음 두 명령은 작동하고 오류가 발생하지 않는 것...