kyuubi提交任务异常报错Unauthorized connection for super-user from IP

文章目录

• 报错信息
• 查看配置
• 问题原因
• proxy user

  报错信息

  kyuubi正常会提交spark session 会到yarn上启动application

  此时日志显示连接yarn报错

  • Unauthorized connection for super-user: hive/xxxxx from IP 10.xx.xx.xx, while invoking ApplicationClientProtocolPBClientImpl.getClusterMetrics over rm1 after 6 failover attempts. Trying to failover after sleeping for 27244ms

    查看配置

    查看集群配置 core-site.xml

    hadoop.proxyuser.hive.hosts 为* 是没有问题的

    查看线上加载的配置

    问题原因

    线上加载的配置为固定的主机，所以通过这几个主机之外的其他主机不能代理用户提交

    proxy user

    在kerberos环境下，如果用户需要用其他用户的kerberos凭证来完成认证，此时就需要配置proxy user。

    举例：B用户访问开启kerberos的hadoop集群，此时以B用户的名义去访问hadoop集群，仅仅认证信息会使用A用户的认证信息去完成认证。

    这时B用户就是proxy user。

    可以限制代理用户请求的机器 此时只接受来自host1和host2的请求可以被代理           hadoop.proxyuser.super.hosts     host1,host2   #super用户可以代理group1和group2的用户           hadoop.proxyuser.super.groups     group1,group2   #super用户可以代理user1和user2，也可以指定为*           hadoop.proxyuser.super.users     user1,user2   

    hive 也有类似

    hive.server2.enable.doAs  true 此时hiveserver2执行查询的用户为提交查询的用户false 此时hiveserver2执行查询的用户为运行hiveserver2进程的用户，一般为hive