☰

linux + 포트 사용 중 + PID를 종료하기 위해 netstat에서 반환된 PID가 없음

tag-icon • tag-icon linux networking rhel netstat port
linux + 포트 사용 중 + PID를 종료하기 위해 netstat에서 반환된 PID가 없음

Hadoop 클러스터가 있습니다. Linux는 rhel 7.5 시스템입니다.

네임노드는 포트 50070을 사용하고 있습니다

로그에서 포트 50070이 사용되고 있음을 알 수 있습니다.

하지만 흥미로운 점은 netstat -tulpn | grep 50070PID를 찾기 위해 이 작업을 수행할 때 아무것도 반환하지 않는다는 것입니다.

netstat -tulpn | grep 50070   ( we not get output )

그게 어떻게 가능합니까?

포트를 지우는 방법은 무엇입니까?

2020-07-18 21:26:22,753 INFO  impl.MetricsSystemImpl (MetricsSystemImpl.java:shutdown(606)) - NameNode metrics system shutdown complete.
2020-07-18 21:26:22,753 ERROR namenode.NameNode (NameNode.java:main(1783)) - Failed to start namenode.
java.net.BindException: Port in use: linux.gg.com:50070
        at org.apache.hadoop.http.HttpServer2.constructBindException(HttpServer2.java:1001)
        at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1023)
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:1080)
        at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:937)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:170)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:942)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:755)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:1001)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:985)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1710)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1778)
Caused by: java.net.BindException: Address already in use
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:433)
        at sun.nio.ch.Net.bind(Net.java:425)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer2.bindListener(HttpServer2.java:988)
        at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1019)
        ... 9 more
2020-07-18 21:26:22,755 INFO  util.ExitUtil (ExitUtil.java:terminate(124)) - Exiting with status 1
2020-07-18 21:26:22,757 INFO  namenode.NameNode (LogAdapter.java:info(47)) - SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 
************************************************************/
[root@linux hdfs]#
[root@linux hdfs]#
[root@linux hdfs]# netstat -tulpn | grep 50070 ( no PID number is returned )

답변1

이 메시지는 Hadoop에 속한 HTTP 서버에 문제가 있음을 나타냅니다. 나는 포트 50070이 Hadoop 2.7.1 이상의 HDFS 웹 UI에 대한 기본 포트라고 생각합니다.

을 사용하면 netstat -tulpn들어오는 TCP 연결을 수신하는 포트를 볼 수 있습니다. 문제는 Hadoop의 HTTP 서버에 있기 때문에 HTTP는 TCP 포트만 사용하므로 UDP 포트를 전혀 볼 필요가 없습니다.

하지만 포트 번호가 너무 높기 때문에 점유되어 있을 수 있습니다.나가는대신 연결하세요. 시도 netstat -tapn | grep 50070해봐.

나가는 연결에 대해 동적으로 할당할 수 있는 포트 범위를 보려면 를 실행합니다 cat /proc/sys/net/ipv4/ip_local_port_range. 범위를 조정하기 위해 net.ipv4.ip_local_port_range = min_value max_valuein을 사용할 수 있지만 /etc/sysctl.conf[.d]나가는 연결이 많고 사용량이 많은 서버에서 범위를 제한하는 것은 아마도 좋은 생각이 아닐 것입니다. 내 Debian 10의 기본 범위는 포트 32768에서 60999입니다. 엔터프라이즈 배포판은 기본적으로 확장 범위를 사용할 수 있습니다.

대신, 나가는 연결에 사용되는 포트 범위를 벗어나는 이 HDFS 웹 UI에 대해 기본이 아닌 포트를 선택할 수 있습니다. 설정하지 않으면 dfs.namenode.http-address이 속성은 hdfs.xml기본값을 갖습니다. 0.0.0.0:50070이 속성을 값으로 설정할 수 있습니다 0.0.0.0:<some_other_port>.

즉, 포트 번호를 예를 들어 32070으로 설정하려면 다음을 추가합니다 hdfs.xml.

<property>
    <name>dfs.namenode.http-address</name>
    <value>0.0.0.0:32070</value>
</property>

이는 0.0.0.0"웹 UI를 실행하는 시스템이 가지고 있는 모든 IP 주소"를 의미합니다. 시스템에 주소가 서로 다른 여러 네트워크 연결이 있고 단일 IP 주소를 통해서만 HDFS 웹 UI에 액세스하려는 경우 이를 IP 주소로 바꿀 수 있습니다.

물론 웹 UI 기능이 필요한 관리자가 HDFS 웹 UI를 찾을 수 있도록 이제 HDFS 웹 UI가 기본이 아닌 포트에 있다는 사실도 문서화해야 합니다.

관련 정보