Apache Ranger 和 AWS EMR Automated Installation and Integration Series （3）：Windows AD + EMR-Native Ranger

“域名：” cn-north-1.compute.internal 将是长主机名 （FQDN） 的“域名”部分。通常，对于 us-east-1 区域，请指定 ec2.internal。对于其他区域，请指定 <region>.compute.internal。 

注意： 不要将Windows AD的域名设置为它，即 example.com。 

在我们的示例中，它们是两个不同的东西;否则，跨领域信任将失败。“域名服务器：” 10.0.13.40 是 Windows AD 服务器的私有 IP。以下是已附加到此DHCP选项集的VPC的快照：

2.1.4 将 EC2 实例创建为游侠服务器

接下来，我们需要准备一个 EC2 实例作为 Ranger 的服务器

最佳做法是将 Ranger 服务器 ElasticMapReduce-master 添加到安全组。由于 Ranger 非常接近 EMR 集群，因此可以将其视为非 EMR 内置主服务。对于 Windows AD，我们必须确保可以从 Ranger 和要创建的 EMR 集群的所有节点访问其端口 389。为简单起见，您还可以将 Windows AD 添加到安全组中 ElasticMapReduce-master 。

2.1.5 下载安装程序

EC2 实例准备就绪后，选择 Ranger 服务器，通过 SSH 登录，然后运行以下命令以下载安装程序包：

sudo yum -y install git
git clone https://github.com/bluishglc/ranger-emr-cli-installer.git

2.1.6 上传 SSH 密钥文件

如前所述，安装程序基于本地主机（Ranger 服务器）。要在 EMR 集群上执行远程安装操作，需要 SSH 私钥。我们应该将其上传到 Ranger 服务器并保留文件路径;它将是变量 SSH_KEY的值。

2.1.7 导出特定于环境的变量

在安装过程中，将多次传递以下特定于环境的参数。建议先导出它们;然后，所有命令行都将引用这些变量而不是文字。

export REGION='TO_BE_REPLACED'
export ACCESS_KEY_ID='TO_BE_REPLACED'
export SECRET_ACCESS_KEY='TO_BE_REPLACED'
export SSH_KEY='TO_BE_REPLACED'
export AD_HOST='TO_BE_REPLACED'

以下是上述变量的注释：

• REGION： AWS 区域，i

us-east-1、、、cn-north-1等。

请根据您的环境仔细替换上述变量的值，并记住使用 FQDN 作为主机名。以下是该示例的副本：

export REGION='cn-north-1'
export ACCESS_KEY_ID='<change-to-your-access-key-id>'
export SECRET_ACCESS_KEY='<change-to-your-secret-access-key>'
export SSH_KEY='/home/ec2-user/key.pem'
export AD_HOST='example.com'

2.2 多合一安装

2.2.1 快速入门

现在，让我们开始一个多合一安装。执行以下命令行：

sudo sh ./ranger-emr-cli-installer/bin/setup

com’ \
–ad-base-dn ‘cn=users，dc=example，dc=com’ \
–ad-user-object-class ‘person’ \
–启用跨领域信任 ‘true’ \
–信任领域 ‘EXAMPLE.COM’ \
–信任域“example.com” \
–信任主机“example.com” \
    –ranger-plugins ’emr-native-emrfs，emr-native-spark，emr-native-hive’

以上命令行的参数说明请参考附录。如果一切顺利，命令行将执行工作流图中的步骤 2.1 到 2.6。这可能需要十分钟或更长时间，具体取决于您的网络带宽。接下来，它将挂起并指示用户使用以下两个工件创建 EMR 集群：

1. 名为 EMR_EC2_RangerRole的 EC2 实例配置文件。
2. 名为 Ranger@<YOUR—RANGER—HOST—FQDN>的 EMR 安全配置 。

它们由命令行在步骤 2.2 和 2.4 中创建。创建集群时，您可以在 EMR Web 控制台中找到它们。以下是此刻命令行的快照：

接下来，我们应该切换到 EMR Web 控制台以创建集群。请务必选择命令行控制台中提示的 EC2 实例配置文件和安全配置。至于 Kerberos 和跨领域信任，请填写并记下以下项目：

• 境界：科贝罗斯的境界。 注意： 对于区域 us-east-1，默认领域为 EC2.INTERNAL。对于其他区域，默认领域为 COMPUTE.INTERNAL。您可以分配另一个领域名称，但请确保输入的领域名称和作为参数传递给的 ad.ps1 受信任领域名称是相同的值。

• KDC 管理员密码：kadmin 的密码。
• Active Directory 域加入用户：这是一个具有足够权限的 AD 帐户，可以将群集节点添加到 Windows 域中。这是启用跨领域信任的必要操作

如果 Windows AD 是由 安装的，则会自动创建一个名为的ad.ps1domain-admin帐户，因此我们在此处填写“域管理员”。您也可以分配其他帐户，但请确保该帐户存在且具有足够的权限。

以下是目前 EMR Web 控制台的快照：

EMR 集群开始创建后，集群 ID 将是确定的。我们需要复制 id 并返回命令行终端。在 CLI 提示符“是否已创建集群？[y/n]：“（您不需要疣即可使群集完全准备就绪）。接下来，命令行将要求您执行两项操作：

1. 输入群集 ID。
2. 确认 Hue 已与 LDAP 集成。如果已集成，则在集群准备就绪后，安装程序将使用特定于 Hue 的设置更新 EMR 配置。请注意，此操作将覆盖 EMR 现有配置。

最后，输入“y”以确认所有输入。安装过程将恢复，如果分配的 EMR 集群尚未准备就绪，命令行将继续监控它，直到它进入“正在等待”状态。以下是命令行此刻的快照：

当群集准备就绪（状态为“正在等待”）时，命令行将继续执行工作流的步骤 2.8，并以“全部完成！！“消息。

2.2.2 定制

现在，多合一安装已完成，我们将介绍有关自定义的更多信息。通常，此安装程序遵循“约定重于配置”的原则。 大多数参数都是默认值预设的。具有上述命令行的完整参数列表的等效版本如下：

sudo sh ./ranger-emr-cli-installer/bin/setup.sh install \
    --region "$REGION" \
    --access-key-id "$ACCESS_KEY_ID" \
    --secret-access-key "$SECRET_ACCESS_KEY" \
    --ssh-key "$SSH_KEY" \
    --solution 'emr-native' \
    --auth-provider 'ad' \
    --ad-host "$AD_HOST" \
    --ad-domain 'example.com' \
    --ad-base-dn 'cn=users,dc=example,dc=com' \
    --ad-user-object-class 'person' \
    --enable-cross-realm-trust 'true' \
    --trusting-realm 'EXAMPLE.COM' \
    --trusting-domain 'example.com' \
    --trusting-host 'example

1.0′ \
–mysql-host $（hostname -f） \
–mysql-root-password ‘Admin1234！’ \
–mysql-ranger-db-user-password ‘Admin1234！’ \
–solr-host $（主机名 -f） \
–ranger-bind-dn ‘cn=ranger，ou=services，dc=example，dc=com’ \
–游侠绑定密码 ‘Admin1234！’ \
–hue-bind-dn ‘cn=hue，ou=services，dc=example，dc=com’ \
–hue-bind-password ‘Admin1234！’ \
–sssd-bind-dn ‘cn=SSSD，ou=services，dc=example，dc=com’ \
–sssd-bind-password ‘Admin1234！’ \
    –重启间隔 30

全参数版本为我们提供了所有自定义选项的完整视角。在以下情况下，您可以更改某些选项的值 ：

1. 如果要更改默认组织名称 dc=example,dc=com或默认密码 Admin1234!，请运行全参数版本并将其替换为您自己的值。
2. 如果您需要与外部工具集成，即现有的MySQL或Solr，请添加相应的 --skip-xxx-xxx 选项并将其设置为 true。
3. 如果您有另一个预定义的 Hue、Ranger 和 SSSD 绑定 DN，请添加相应的 --xxx-bind-dn 和 --xxx-bind-password 选项来设置它们。 注意： 安装 Windows AD 时将自动创建 Hue、Ranger 和 SSSD 的绑定 DN，但它们使用以下命名模式进行修复： cn=hue|ranger|sssd,ou=services,<your-base-dn>，而不是“–xxx-bind-dn”选项的给定值，因此如果使用“–xxx-bind-dn”选项分配另一个 DN，则必须提前自行创建此 DN。此安装不会创建由“–xxx-bind-dn”选项分配的 DN 的原因是 DN 是树路径。要创建它，我们必须在路径中创建所有节点，实现如此小而复杂的功能并不划算。
4. 一体化安装将更新 Hue 的 EMR 配置，以便用户可以使用 Windows AD 帐户登录 Hue。如果您有其他自定义的 EMR 配置，请在命令行中附加 --skip-configure-hue 'true' 以跳过更新配置。接下来，手动将 Hue 配置附加到您的 JSON 中;否则，您的预定义配置将被覆盖。

2.3 分步安装

作为替代方法，您也可以选择分步安装，而不是一体式安装。我们为每个步骤提供命令行。有关每个参数的注释，请参阅附录。

2.3

例如，安装 AWS CLI、 JDK 等。

sudo sh ./ranger-emr-cli-installer/bin/setup.sh init-ec2 \
    --region "$REGION" \
    --access-key-id "$ACCESS_KEY_ID" \
    --secret-access-key "$SECRET_ACCESS_KEY"

2.3.2 创建 IAM 角色

此步骤将创建 EMR 所需的三个 IAM 角色。

sudo sh ./ranger-emr-cli-installer/bin/setup.sh create-iam-roles \
    --region "$REGION"

2.3.3 创建游侠秘密

此步骤将为 Ranger 创建与 SSL/TLS 相关的密钥、证书和密钥库，因为 EMR 本机 Ranger 需要与服务器的 SSL/TLS 连接。这些构件将上传到 AWS 密钥管理器，并由 EMR 安全配置引用。

sudo sh ./ranger-emr-cli-installer/bin/setup.sh create-ranger-secrets \
    --region "$REGION"

2.3.4 创建 EMR 安全配置

此步骤将创建 EMR 安全配置的副本。该配置包括与 Kerberos 和 Ranger 相关的信息。创建集群时，EMR 将读取它们并获取相应的资源，即机密，并与在安全配置中分配地址的 Ranger 服务器进行交互/ranger-emr-cli-installer/bin/setup.sh create-emr-security-configuration \
–区域“$REGION” \
–解决方案 ‘EMR 原生’ \
–身份验证提供程序“广告” \
–信任领域 ‘EXAMPLE.COM’ \
–信任域“example.com” \
    –trusting-host ‘example.com’“ data-lang=”text/x-sh“>

sudo sh ./ranger-emr-cli-installer/bin/setup.sh create-emr-security-configuration \
    --region "$REGION" \
    --solution 'emr-native' \
    --auth-provider 'ad' \
    --trusting-realm 'EXAMPLE.COM' \
    --trusting-domain 'example.com' \
    --trusting-host 'example.com'

2.3.5 安装游侠

此步骤将安装Ranger的所有服务器端组件，包括MySQL，Solr，Ranger Admin和Ranger UserSync。

sudo sh ./ranger-emr-cli-installer/bin/setup.sh install-ranger \
    --region "$REGION" \
    --solution 'emr-native' \
    --auth-provider 'ad' \
    --ad-domain 'example.com' \
    --ad-host "$AD_HOST" \
    --ad-base-dn 'cn=users,dc=example,dc=com' \
    --ad-user-object-class 'person' \
    --ranger-bind-dn 'cn=ranger,ou=services,dc=example,dc=com' \
    --ranger-bind-password 'Admin1234!'

2.3.6 安装游侠插件

此步骤将从Ranger服务器端安装EMRFS，Spark和Hive插件。还有另一半工作安装这些插件（实际上它们是 EMR 秘密代理、EMR 记录服务器等）。在代理方面;但是，EMR 将在创建集群时自动完成此操作。

export EMR_CLUSTER_ID='TO_BE_REPLACED'

export EMR_CLUSTER_ID='	j-1UU8LVVVCBZY0'

sudo sh ./ranger-emr-cli-installer/bin/setup.sh update-hue-configuration \
    --region "$REGION" \
    --auth-provider 'ad' \
    --ad-host "$AD_HOST" \
    --ad-domain 'example

-- run in hue hive editor
create table ranger_test (
  id bigint
)
row format delimited
stored as textfile location 's3://ranger-test/';

insert into ranger_test(id) values(1);
insert into ranger_test(id) values(2);
insert into ranger_test(id) values(3);
select * from ranger_test;

# run in scala editor of hue
spark.read.csv("s3://ranger-test/").show;

# run on master node of emr cluster
for i in {1..10}; do
    printf "\n%100s\n\n"|tr ' ' '='
    sudo stat /emr/secretagent/ranger_policy_cache/emrS3RangerPlugin_emrfs.json
    sleep 3
done

# run in scala editor of hue
spark.sql("select * from ranger_test").show

# run on master node of emr cluster
for i in {1..10}; do
    printf "\n%100s\n\n"|tr ' ' '='
    sudo stat /etc/emr-record-server/ranger_policy_cache/emrSparkRangerPlugin_spark.json 
    sleep 3
done