Apache Ranger 和 AWS EMR 自动安装和集成系列 （5）：Windows AD + Open-Source Ranger

希望您喜欢本系列的前四篇文章。在本系列的最后一篇文章中，我们将介绍最后一个高适用性方案：“Windows AD + Open-Source Ranger”。

1. Windows AD + 开源游侠解决方案概述

1.1 解决方案架构

在此解决方案中，Windows AD 扮演身份验证提供程序，所有用户帐户数据存储在其上，Ranger 扮演授权控制器;它将从 Windows AD 同步帐户数据，以授予针对来自 Windows AD 的用户帐户的权限。同时，EMR 集群需要安装一系列 Ranger 插件。这些插件将与 Ranger 服务器进行检查，以确保当前用户有权执行操作。EMR 集群还将通过 SSSD 从 Windows AD 同步账户数据，以便用户可以登录 EMR 集群的节点并提交作业。作为最终用户，他们可以使用她/他的 Windows AD 帐户登录 EMR 集群的 SSH 节点。如果 Hue 可用，他们也可以使用此帐户登录 Hue。

1.2 游侠详情

让我们深入了解游侠以获取更多详细信息;其 体系结构 如下所示：

安装程序将完成以下作业：

1. 安装 MySQL 作为 Ranger 的策略数据库。
2. 安装 Solr 作为 Ranger 的审核存储。
3. 安装游侠管理员。
4. 安装 Ranger UserSync。
5. 安装 HDFS Ranger 插件。
6. 安装 Hive Ranger 插件。

2. 安装和集成

通常，安装和集成过程可以分为三个阶段： 

1. 先决条件
2. 多合一安装
3. 创建 EMR 集群。

下图详细说明了进度：

在第一阶段，我们需要做一些准备工作。在第 2 阶段，我们开始安装和集成。在此阶段有两个选项：一个是由基于命令行的工作流驱动的一体化安装。另一个是分步安装。在大多数情况下，多合一安装始终是最佳选择;但是，您的安装工作流程可能会因不可预见的错误而中断。如果要从上一个失败的步骤继续安装，请尝试分步安装。如果要使用不同的参数值重试步骤以找到正确的步骤，分步也是更好的选择。在第 3 阶段，我们需要创建一个 EMR 集群。如果已有，请跳过此作业。在大多数情况下，我们需要在现有集群上安装 Ranger，而不是新集群。对于 EMR 原生 Ranger，无法在现有集群上安装（因为 EMR 原生 Ranger 插件只能在创建集群时安装），但开源 Ranger 没有这个问题，因此您可以自由安装在现有或新的 EMR 集群上 在步骤 2.4 中，安装进度将挂起，安装程序将指示用户创建自己的群集并继续监视目标群集的状态。群集准备就绪后，进度将恢复并继续执行 REST 操作。

作为设计原则，安装程序不包括创建 EMR 集群的任何操作。您应始终自己创建集群，因为 EMR 集群可能具有不可预测的设置，即特定于应用程序的（HDFS、 Yarn 等）配置、步骤脚本、引导脚本等。不建议将 Ranger 的安装与 EMR 集群的创建相结合。

注释：

1. 安装程序会将本地主机视为 Ranger 服务器，以在 Ranger 上安装所有内容。对于非 Ranger 操作，即安装 EMR 插件，它将通过 SSH 启动远程操作。因此，您可以留在Ranger服务器上执行命令行。无需在多个主机之间切换。
2. 尽管这不是必需的，但我们建议您始终使用 FQDN 作为主机地址。不建议使用没有域名的 IP 和主机名。

2.1 先决条件

2.1.1 专有网络约束

要与 Windows AD 集成，EMR 集群节点需要加入 Windows 域（领域）。对 VPC 施加了一系列约束。在安装之前，请确保 EC2 实例的主机名不超过 15 个字符。这是 Windows AD 的限制;但是，由于 AWS 根据 IPv4 地址分配 DNS 主机名，因此此限制会传播到 VPC。如果VPC的网段可以确保IPv4地址不超过9个字符，则分配的DNS主机名可以限制为15个字符。在限制下，VPC 10.0.0.0/16的建议 CIDR 设置为 。

尽管我们可以在 EC2 实例可用后更改默认主机名，但当计算机加入 Windows AD 目录时，将使用主机名。这发生在创建 EMR 集群期间。对主机名的后修改不起作用（可能的解决方法是将修改主机名操作放入引导脚本中，但我们还没有尝试过。要更改主机名，请参阅标题为 更改 Amazon Linux 实例的主机名的 AWS 文档。 

2.1.2 创建视窗广告服务器

首先，我们需要创建一个带有PowerShell脚本的Windows AD服务器。com/articles/how-to-deploy-laravel-application-on-aws-ec2-the-r“>EC2 实例Windows Server 2019 Base（2016 也经过测试和支持）。接下来，使用管理员帐户登录，从此处下载 Windows AD 安装脚本文件，并将其保存到桌面。 

接下来，按“Win + R”打开运行对话框，复制以下命令行，并将参数值替换为您自己的设置：

Powershell.exe -NoExit -ExecutionPolicy Bypass -File %USERPROFILE%\Desktop\ad.ps1 -DomainName <replace-with-your-domain> -Password <replace-with-your-password> -TrustedRealm <replace-with-your-realm>

具有ad.ps1预定义的默认参数值。域名为 ，密码为 ，可信领域为 example.comAdmin1234!COMPUTE.INTERNAL。作为快速入门，您可以右键单击ad.ps1该文件并选择Run with PowerShell执行它。 

注意：您无法通过右键单击“使用 PowerShell 运行” us-east-1 来运行 PowerShell 脚本，因为其默认的受信任领域是 EC2.INTERNAL，因此应通过上述命令行显式设置 。 -TrustedRealm EC2.INTERNAL  

执行脚本后，计算机将要求重新启动。这是Windows强制的。我们应该等待计算机重新启动，然后以管理员身份再次登录，以便脚本文件中的后续命令继续执行。请务必重新登录;否则，部分脚本没有机会执行。

登录后，我们可以从“开始”菜单->Windows管理工具->“活动目录用户和计算机”打开“活动目录用户和计算机”，或者从“运行”对话框中输入 dsa.msc 以检查创建的AD。如果一切顺利，我们将得到以下AD目录：

接下来，我们需要检查 DNS 设置。无效的 DNS 设置将导致安装失败。运行脚本时的一个常见错误是“游侠服务器无法解析群集节点的 DNS”。 此问题通常是由不正确的 DNS 转发器设置引起的。我们可以从“开始”菜单->Windows管理工具->DNS中打开“DNS管理器”，也可以从“运行”对话框中输入 dnsmgmt.msc 。接下来，打开“转发器”选项卡。通常，有一条记录，IP地址应为 10.0.0.2：

10.0.0.2 是 VPC 中网络的默认 10.0.0.0/16 DNS 服务器地址。根据VPC 文档：

Amazon DNS 服务器不驻留在 VPC 的特定子网或可用区内。它位于地址 169.254.169.253（以及 VPC IPv4 网络范围底部的保留 IP 地址加 2）和 fd00：ec2：：253。例如，10.0.0.0/16 网络上的 Amazon DNS 服务器位于 10.0.0.2。对于具有多个IPv4网段的VPC，DNS服务器IP地址位于主网段。

转发器的 IP 地址通常来自 VPC 的“DHCP 选项集”的“域名服务器”;其默认值为 AmazonProvidedDNS 它可能发生在在VPC中重新安装Windows AD期间。如果在重新安装之前没有将“域名服务器”恢复到 AmazonProvidedDNS ，转发器的IP始终是以前的Windows AD服务器的地址;它可能不再存在，这就是Ranger服务器或群集节点无法解析DNS的原因。我们可以简单地将转发器 IP 更改为默认值，即 10.0.0.2 在 10.0.0.0/16 网络中。

另一个与 DNS 相关的配置是 IPv4 DNS 设置。通常，其默认设置为正常;将其附在此处作为参考（在 cn-north-1 该地区）：

2.1.3 创建 DHCP 选项集并附加到 VPC

加入 Windows 域（领域）要求 VPC 中的节点可以通过网络相互访问并解析彼此的域名。因此，需要在 VPC的“DHCP选项集”中将Windows AD设置为DNS服务器。以下命令行将完成此任务（在已安装 AWS CLI 的 Linux 主机上运行以下脚本）：

sudo yum -y install git
git clone https://github.com/bluishglc/ranger-emr-cli-installer.git

export REGION='TO_BE_REPLACED'
export ACCESS_KEY_ID='TO_BE_REPLACED'
export SECRET_ACCESS_KEY='TO_BE_REPLACED'
export SSH_KEY='TO_BE_REPLACED'
export AD_HOST='TO_BE_REPLACED'

export REGION='cn-north-1'
export ACCESS_KEY_ID='<change-to-your-aws-access-key-id>'
export SECRET_ACCESS_KEY='<change-to-your-aws-secret-access-key>'
export SSH_KEY='/home/ec2-user/key.pem'
export AD_HOST='ip-10-0-14-0.cn-north-1.compute.internal'

sudo sh ./ranger-emr-cli-installer/bin/setup.sh install \
    --region "$REGION" \
    --access-key-id "$ACCESS_KEY_ID" \
    --secret-access-key "$SECRET_ACCESS_KEY" \
    --ssh-key "$SSH_KEY" \
    --solution 'open-source' \
    --auth-provider 'ad' \
    --ad-host "$AD_HOST" \
    --ad-domain 'example.com' \
    --ad-domain-admin 'domain-admin' \
    --ad-domain-admin-password 'Admin1234!' \
    --ad-base-dn 'cn=users,dc=example,dc=com' \
    --ad-user-object-class 'person' \
    --ranger-plugins 'open-source-hdfs,open-source-hive' \
    --java-home '/usr/lib/jvm/java' \
    --skip-install-mysql 'false' \
    --skip-install-solr 'false' \
    --skip-configure-hue 'false' \
    --ranger-host $(hostname -f) \
    --ranger-version '2.1.0' \
    --mysql-host $(hostname -f) \
    --mysql-root-password 'Admin1234!' \
    --mysql-ranger-db-user-password 'Admin1234!' \
    --solr-host $(hostname -f) \
    --ranger-bind-dn 'cn=ranger,ou=services,dc=example,dc=com' \
    --ranger-bind-password 'Admin1234!' \
    --hue-bind-dn 'cn=hue,ou=services,dc=example,dc=com' \
    --hue-bind-password 'Admin1234!' \
    --restart-interval 30

sudo sh ./ranger-emr-cli-installer/bin/setup.sh init-ec2 \
    --region "$REGION" \
    --access-key-id "$ACCESS_KEY_ID" \
    --secret-access-key "$SECRET_ACCESS_KEY"

export EMR_CLUSTER_ID='TO_BE_REPLACED'

export EMR_CLUSTER_ID='j-2S04VJZ5YQHZ4'

sudo ./ranger-emr-cli-installer/bin/setup.sh install-sssd \
    --ssh-key "$SSH_KEY" \
    --solution 'open-source' \
    --auth-provider 'ad' \
    --ad-host "$AD_HOST" \
    --ad-domain 'example.com' \
    --ad-domain-admin 'domain-admin' \
    --ad-domain-admin-password 'Admin1234!' \
    --emr-cluster-id "$EMR_CLUSTER_ID"

# run on master node of emr cluster
export EMR_CLUSTER_ID='TO_BE_REPLACED'

# run on master node of emr cluster
export EMR_CLUSTER_ID='j-2S04VJZ5YQHZ4'

# run on master node of emr cluster
sudo -u hdfs hdfs dfs -mkdir /ranger-test
sudo -u hdfs hdfs dfs -chown example-user-1:example-group /ranger-test
sudo -u hdfs hdfs dfs -chmod 700 /ranger-test

# run on master node of emr cluster
for i in {1..10}; do
    printf "\n%100s\n\n"|tr ' ' '='
    sudo stat /etc/ranger/HIVE_${EMR_CLUSTER_ID}/policycache/hiveServer2_HIVE_${EMR_CLUSTER_ID}.json
    sleep 3
done

-- run in hue hive editor
create table ranger_test (
  id bigint
)
row format delimited
stored as textfile location '/ranger-test';

insert into ranger_test(id) values(1);
insert into ranger_test(id) values(2);
insert into ranger_test(id) values(3);
select * from ranger_test;