저는 Apache Flume의 프로토타입을 만들고 있습니다. VirtualBox를 사용하여 두 개의 Ubuntu VM 설정 간에 텍스트 파일 콘텐츠를 전송하는 작업을 맡았습니다. 나는 Flume의 문서를 읽어봤지만 Flume에 대해 거의 아는 바가 없습니다.
VirtualBox를 사용하여 내부 네트워크를 만들 수 있었고 두 가상 머신이 서로 성공적으로 핑할 수 있었습니다.
다음과 같이 Flume을 다운로드하고 구성할 수도 있습니다.https://cwiki.apache.org/confluence/display/FLUME/Getting+Started
내 요점은 Flume이 두 개의 가상 머신에 설치되어 실행되고 있다는 것입니다.
이 기사는 나에게 작은 아이디어를 주었다:https://stackoverflow.com/questions/19112465/flume-data-transferring-to-serverㅏ
그렇다면 각 가상 머신에서 flume.conf 파일을 완전히 구현합니까? 이렇게 하려면 Java를 작성해야 합니까?
또한, 저는 약 18분 정도에 이 사람이 제가 요청한 것과 거의 정확히 일치하는 영상을 발견했습니다. 그러나 입력을 텍스트 파일로 만들고 싶습니다.
답변1
나는 수신기 유형을 file_roll로 사용하여 이 문제를 해결했습니다. 또한 두 가상 머신이 연결될 수 있도록 두 번째 가상 머신의 IP를 식별해야 했습니다.
이 링크에서 이 작업을 수행하는 방법에 대한 단계별 지침을 찾았습니다.http://thisandthat.io/blog/flume-part3/
또한 이를 수행하기 위해 Java를 작성할 필요가 없습니다. 그러나 Flume의 표준에 따라 Flume-env.sh 파일에서 JAVA_HOME이 올바르게 선언되었는지 확인하십시오. 다른 모든 부분은 생성된 .conf 파일에 의해 처리됩니다(위 링크에서 언급한 대로).