☰

linux + 端口正在使用 + 但没有从 netstat 返回 PID 以杀死 PID

tag-icon • tag-icon linux networking rhel netstat port
linux + 端口正在使用 + 但没有从 netstat 返回 PID 以杀死 PID

我们有 Hadoop 集群 - linux 是 rhel 7.5 机器

namenode正在使用端口50070

从日志中我们可以看到50070端口正在被使用

但有趣的是，当我们这样做时netstat -tulpn | grep 50070，要找到 PID，它不会返回任何内容

netstat -tulpn | grep 50070   ( we not get output )

那怎么可能呢？

如何清除端口？

2020-07-18 21:26:22,753 INFO  impl.MetricsSystemImpl (MetricsSystemImpl.java:shutdown(606)) - NameNode metrics system shutdown complete.
2020-07-18 21:26:22,753 ERROR namenode.NameNode (NameNode.java:main(1783)) - Failed to start namenode.
java.net.BindException: Port in use: linux.gg.com:50070
        at org.apache.hadoop.http.HttpServer2.constructBindException(HttpServer2.java:1001)
        at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1023)
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:1080)
        at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:937)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:170)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:942)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:755)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:1001)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:985)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1710)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1778)
Caused by: java.net.BindException: Address already in use
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:433)
        at sun.nio.ch.Net.bind(Net.java:425)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer2.bindListener(HttpServer2.java:988)
        at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1019)
        ... 9 more
2020-07-18 21:26:22,755 INFO  util.ExitUtil (ExitUtil.java:terminate(124)) - Exiting with status 1
2020-07-18 21:26:22,757 INFO  namenode.NameNode (LogAdapter.java:info(47)) - SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 
************************************************************/
[root@linux hdfs]#
[root@linux hdfs]#
[root@linux hdfs]# netstat -tulpn | grep 50070 ( no PID number is returned )

答案1

这些消息表明问题出在属于 Hadoop 的 HTTP 服务器上。我认为端口 50070 是 Hadoop 2.7.1 及更高版本中 HDFS Web UI 的默认端口。

使用netstat -tulpn，您可以查看侦听传入 TCP 连接的端口。由于问题出在 Hadoop 的 HTTP 服务器上，因此您根本不需要查看 UDP 端口，因为 HTTP 只会使用 TCP 端口。

但由于端口号如此之高，它可能被占用外向的连接代替。尝试netstat -tapn | grep 50070一下。

要查看可为传出连接动态分配的端口范围，请运行cat /proc/sys/net/ipv4/ip_local_port_range。您可以使用net.ipv4.ip_local_port_range = min_value max_valuein/etc/sysctl.conf[.d]来调整范围，但在具有大量传出连接的繁忙服务器上限制范围可能不是一个好主意。我的 Debian 10 上的默认范围是从端口 32768 到 60999；企业发行版可以默认使用扩展范围。

相反，您可能希望为此 HDFS Web UI 选择一个非默认端口，该端口超出用于传出连接的端口范围。如果未设置，则dfs.namenode.http-address该属性hdfs.xml具有默认值。0.0.0.0:50070您可以将该属性设置为 值0.0.0.0:<some_other_port>。

换句话说，要将端口号设置为例如 32070，您可以将其添加到您的hdfs.xml：

<property>
    <name>dfs.namenode.http-address</name>
    <value>0.0.0.0:32070</value>
</property>

这0.0.0.0意味着“运行 Web UI 的系统具有的任何 IP 地址”。如果系统具有多个具有不同地址的网络连接，并且您希望仅通过单个 IP 地址即可访问 HDFS Web UI，则可以将其替换为 IP 地址。

当然，您还需要记录 HDFS Web UI 现在位于非默认端口，以便需要 Web UI 功能的管理员能够找到它。

相关内容