• 欢迎来到魔据教育大数据学院,专注大数据工程师培养!
    当前位置:首页 > 学习资料 > 讲师博文 > hadoop2.x常用端口及定义方法(方便以后查询)

    hadoop2.x常用端口及定义方法(方便以后查询)

    时间:2017-08-17 17:43:34作者:[!--zuozhe--]

     

    Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。
    这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:

    组件
    节点
    默认端口
    配置
    用途说明
    HDFS
    DataNode
    50010
    dfs.datanode.address
    datanode服务端口,用于数据传输
    HDFS
    DataNode
    50075
    dfs.datanode.http.address
    http服务的端口
    HDFS
    DataNode
    50475
    dfs.datanode.https.address
    https服务的端口
    HDFS
    DataNode
    50020
    dfs.datanode.ipc.address
    ipc服务的端口
    HDFS
    NameNode
    50070
    dfs.namenode.http-address
    http服务的端口
    HDFS
    NameNode
    50470
    dfs.namenode.https-address
    https服务的端口
    HDFS
    NameNode
    8020
    fs.defaultFS
    接收Client连接的RPC端口,用于获取文件系统metadata信息。
    HDFS
    journalnode
    8485
    dfs.journalnode.rpc-address
    RPC服务
    HDFS
    journalnode
    8480
    dfs.journalnode.http-address
    HTTP服务
    HDFS
    ZKFC
    8019
    dfs.ha.zkfc.port
    ZooKeeper FailoverController,用于NN HA
    YARN
    ResourceManager
    8032
    yarn.resourcemanager.address
    RM的applications manager(ASM)端口
    YARN
    ResourceManager
    8030
    yarn.resourcemanager.scheduler.address
    scheduler组件的IPC端口
    YARN
    ResourceManager
    8031
    yarn.resourcemanager.resource-tracker.address
    IPC
    YARN
    ResourceManager
    8033
    yarn.resourcemanager.admin.address
    IPC
    YARN
    ResourceManager
    8088
    yarn.resourcemanager.webapp.address
    http服务端口
    YARN
    NodeManager
    8040
    yarn.nodemanager.localizer.address
    localizer IPC
    YARN
    NodeManager
    8042
    yarn.nodemanager.webapp.address
    http服务端口
    YARN
    NodeManager
    8041
    yarn.nodemanager.address
    NM中container manager的端口
    YARN
    JobHistory Server
    10020
    mapreduce.jobhistory.address
    IPC
    YARN
    JobHistory Server
    19888
    mapreduce.jobhistory.webapp.address
    http服务端口
    HBase
    Master
    60000
    hbase.master.port
    IPC
    HBase
    Master
    60010
    hbase.master.info.port
    http服务端口
    HBase
    RegionServer
    60020
    hbase.regionserver.port
    IPC
    HBase
    RegionServer
    60030
    hbase.regionserver.info.port
    http服务端口
    HBase
    HQuorumPeer
    2181
    hbase.zookeeper.property.clientPort
    HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
    HBase
    HQuorumPeer
    2888
    hbase.zookeeper.peerport
    HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
    HBase
    HQuorumPeer
    3888
    hbase.zookeeper.leaderport
    HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
    Hive
    Metastore
    9083
    /etc/default/hive-metastore中export PORT=<port>来更新默认端口
     
    Hive
    HiveServer
    10000
    /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口
     
    ZooKeeper
    Server
    2181
    /etc/zookeeper/conf/zoo.cfg中clientPort=<port>
    对客户端提供服务的端口
    ZooKeeper
    Server
    2888
    /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
    follower用来连接到leader,只在leader上监听该端口。
    ZooKeeper
    Server
    3888
    /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
    用于leader选举的。只在electionAlg是1,2或3(默认)时需要。

     

    更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
    学习大数据敬请关注魔据教育微信二维码。
    魔据教育微信二维码

    【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至[email protected],我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

    全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

    在线咨询:张老师QQ 320169340

    企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

    Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

    安徽十一选五开奖号码
  • 体彩36选7 福建36选7开奖结果今晚开奖结果 安徽快三是什么时候 大乐透走势图图带坐标 江苏快3推荐号码和值推荐 长单双中特 16117期双色球蓝球 中国体彩网时时彩 高频彩缩水在线 河南福彩幸运武林开奖 3串1混合过关 体彩七星彩开奖直播视频 白姐透码 陕西快乐10分走势图统计报表 11选5爱彩乐山西