Apache Ranger 和 AWS EMR 自动安装和集成系列 （2）：OpenLDAP + EMR-Native Ranger

SH 安装 \
--区域“$REGION” \
--access-key-id “$ACCESS_KEY_ID” \
--秘密访问密钥 “$SECRET_访问密钥” \
--ssh-key “$SSH_KEY” \
--解决方案 'EMR 原生' \
--auth-provider 'openldap' \
--openldap-host “$OPENLDAP_HOST” \
--openldap-base-dn 'dc=example，dc=com' \
--openldap-root-cn 'admin' \
--openldap-root-password 'Admin1234！' \
--openldap-user-dn-pattern 'uid={0}，ou=users，dc=example，dc=com' \
--openldap-group-search-filter '（member=uid={0}，ou=users，dc=example，dc=com）' \
--openldap-user-object-class 'inetOrgPerson' \
--示例用户 '示例用户-1，示例用户-2' \
    --ranger-plugins 'emr-native-emrfs，emr-native-spark，emr-native-hive'

以上命令行的参数说明请参考附录。如果一切顺利，命令行将执行工作流图中的步骤 2.1 到 2.7。这可能需要十分钟或更长时间，具体取决于您的网络带宽。接下来，它将挂起并指示用户使用两个工件创建 EMR 集群：

1. 名为 EC2 实例配置文件 EMR_EC2_RangerRole.
2. 名为 Ranger@<YOUR-RANGER-HOST-FQDN>.

它们只是由步骤 2.2 和 2.4 中的命令行创建的。您可以在创建集群时从 EMR Web 控制台找到它们。以下是此刻命令行的快照：

接下来，我们应该切换到 EMR Web 控制台以创建集群。请务必选择命令行控制台中提示的 EC2 实例配置文件和安全配置。对于 Kerberos KDC，请同时填写并记下“领域”和“KDC 管理员密码”。 它们将很快在命令行中使用。以下是目前 EMR Web 控制台的快照：

集群 ID：从 Web 控制台上的摘要选项卡中获取。

现在，我们需要返回命令行终端并为 CLI 提示符输入“y”。“你创建了集群吗？[y/n]：“（集群完全准备就绪不需要疣），那么命令行会要求你逐个输入以上四个信息项，因为它们是下一阶段安装所必需的，然后再次输入”y“进行确认。安装过程将恢复，如果分配的 EMR 集群尚未准备就绪，命令行将继续监控，直到进入“正在等待”状态，以下是命令行此刻的快照：

当群集准备就绪（状态为“正在等待”）时，命令行将继续从步骤 2 开始执行工作流的 13，最后以“全部完成”消息结束。

2.2.2 定制

现在，一体式安装已经完成，我们将介绍有关自定义的更多信息。通常，此安装程序遵循“约定重于配置”的原则。 大多数参数都是默认预设的，上面命令行的完整参数列表的等效版本如下：

sudo sh ./ranger-emr-cli-installer/bin/setup.sh install \
    --region "$REGION" \
    --access-key-id "$ACCESS_KEY_ID" \
    --secret-access-key "$SECRET_ACCESS_KEY" \
    --ssh-key "$SSH_KEY" \
    --solution 'emr-native' \
    --auth-provider 'openldap' \
    --openldap-host "$OPENLDAP_HOST" \
    --openldap-base-dn 'dc=example,dc=com' \
    --openldap-root-cn 'admin' \
    --openldap-root-password 'Admin1234!' \
    --openldap-user-dn-pattern 'uid={0},ou=users,dc=example,dc=com' \
    --openldap-group-search-filter '(member=uid={0},ou=users,dc=example,dc=com)' \
    --openldap-user-object-class 'inetOrgPerson' \
    --example-users 'example-user-1,example-user-2' \
    --ranger-plugins 'emr-native-emrfs,emr-native-spark,emr-native-hive' \
    --java-home '/usr/lib/jvm/java' \
    --skip-install-mysql 'false' \
    --skip-migrate-kerberos-db 'false' \
    --skip-install-solr 'false' \
    --skip-install-openldap 'false' \
    --skip-configure-hue 'false' \
    --ranger-host $(hostname -f) \
    --ranger-version '2

0' \
--mysql-host $（hostname -f） \
--mysql-root-password 'Admin1234！' \
--mysql-ranger-db-user-password 'Admin1234！' \
--solr-host $（主机名 -f） \
--ranger-bind-dn 'cn=ranger，ou=services，dc=example，dc=com' \
--游侠绑定密码 'Admin1234！' \
--hue-bind-dn 'cn=hue，ou=services，dc=example，dc=com' \
--hue-bind-password 'Admin1234！' \
--sssd-bind-dn 'cn=SSSD，ou=services，dc=example，dc=com' \
--sssd-bind-password 'Admin1234！' \
    --重启间隔 30

全参数版本为我们提供了所有自定义选项的完整视角。在以下情况下，您可以更改某些选项的值 ：

1. 如果要更改默认组织名称 dc=example,dc=com 或默认密码 Admin1234!，请运行全参数版本并将其替换为您自己的值。
2. 如果您需要与外部工具集成，即集中式OpenLDAP或现有的MySQL或Solr，请添加相应的 --skip-xxx-xxx 选项并将其设置为 true。
3. 如果您有其他预定义的 Hue、Ranger 和 SSSD 绑定 DN，请添加相应的 --xxx-bind-dn 和 --xxx-bind-password 选项进行设置。请注意，安装 OpenLDAP 时将自动创建 Hue、Ranger 和 SSSD 的绑定 DN，但它们是使用命名模式修复的：不是给定值的cn=hue|ranger|sssd,ou=services,<your-base-dn> “” 选项，因此如果使用 “--xxx-bind-dn--xxx-bind-dn” 选项分配另一个 DN，则必须提前自行创建此 DN。此安装不会创建由“”--xxx-bind-dn选项分配的DN的原因是DN实际上是树路径。要创建它，我们必须在路径中创建所有节点，实现如此小而复杂的功能并不划算。
4. 默认情况下，一体式安装会将集群 Kerberos 数据库迁移到 OpenLDAP，以便更好地管理帐户，但如果您运行外部 Kerberos KDC，请确保您确实需要将外部 KDC 的数据库迁移到 Open LDAP。如果没有，请在命令行中添加 --skip-migrate-kerberos-db 'true' 以跳过它。

2.3 分步安装

作为替代方法，您也可以选择分步安装，而不是一体式安装。我们给出每个步骤的命令行。关于每个参数的评论，请参阅附录。

2.3.1 初始化EC2

这一步将完成一些基本工作，我、安装 AWS CLI、JDK 等。

sudo sh ./ranger-emr-cli-installer/bin/setup.sh init-ec2 \
    --region "$REGION" \
    --access-key-id "$ACCESS_KEY_ID" \
    --secret-access-key "$SECRET_ACCESS_KEY"

2.3.2 创建 IAM 角色

此步骤将创建三个 IAM 角色，这些角色是 EMR 所必需的。

sudo sh ./ranger-emr-cli-installer/bin/setup.sh create-iam-roles \
    --region "$REGION"

2.3.3 创建游侠秘密

此步骤将为 Ranger 创建与 SSL/TLS 相关的密钥、证书和密钥库，因为 EMR 本机 Ranger 需要与服务器的 SSL/TLS 连接。这些构件将上传到 AWS 密钥管理器，并由 EMR 安全配置引用。

sudo sh ./ranger-emr-cli-installer/bin/setup.sh create-ranger-secrets \
    --region "$REGION"

2.3.4 创建 EMR 安全配置

此步骤将创建 EMR 安全配置的副本。该配置包括与 Kerberos 和 Ranger 相关的信息。创建集群时，EMR 会读取集群并获取相应的资源，即机密并与 Ranger 服务器交互;此地址在安全配置中分配/ranger-emr-cli-installer/bin/setup.sh create-emr-security-configuration \
--区域“$REGION” \
--解决方案 'EMR 原生' \
    --auth-provider 'openldap'
“ data-lang=”text/x-sh“>

sudo sh ./ranger-emr-cli-installer/bin/setup.sh create-emr-security-configuration \
    --region "$REGION" \
    --solution 'emr-native' \
    --auth-provider 'openldap'

2.3.5 安装 OpenLDAP

此步骤将在给定的OpenLDAP主机上安装OpenLDAP，如上所述。虽然此操作是在OpenLDAP服务器上执行的，但您无需登录OpenLDAP服务器。您只需在本地主机（Ranger 服务器）上运行命令行。

sudo sh ./ranger-emr-cli-installer/bin/setup.sh install-openldap \
    --region "$REGION" \
    --access-key-id "$ACCESS_KEY_ID" \
    --secret-access-key "$SECRET_ACCESS_KEY" \
    --ssh-key "$SSH_KEY" \
    --solution 'emr-native' \
    --auth-provider 'openldap' \
    --openldap-host "$OPENLDAP_HOST" \
    --openldap-base-dn 'dc=example,dc=com' \
    --openldap-root-cn 'admin' \
    --openldap-root-password 'Admin1234!'

2.3.6 安装游侠

此步骤将安装Ranger的所有服务器端组件，包括 MySQL，Solr，Ranger Admin和Ranger UserSync。

sudo sh ./ranger-emr-cli-installer/bin/setup.sh install-ranger-plugins \
    --region "$REGION" \
    --solution 'emr-native' \
    --auth-provider 'openldap' \
    --ranger-plugins 'emr-native-emrfs,emr-native-spark,emr-native-hive'

export EMR_CLUSTER_ID='TO_BE_REPLACED'
export KERBEROS_REALM='TO_BE_REPLACED'
export KERBEROS_KDC_HOST='TO_BE_REPLACED'

sudo sh ./ranger-emr-cli-installer/bin/setup.sh migrate-kerberos-db \
    --region $REGION \
    --ssh-key "$SSH_KEY" \
    --kerberos-realm "$KERBEROS_REALM" \
    --kerberos-kdc-host "$KERBEROS_KDC_HOST" \
    --openldap-host "$OPENLDAP_HOST" \
    --openldap-base-dn 'dc=example,dc=com' \
    --openldap-root-cn 'admin' \
    --openldap-root-password 'Admin1234!'

sudo ./ranger-emr-cli-installer/bin/setup.sh install-sssd \
    --region "$REGION" \
    --ssh-key "$SSH_KEY" \
    --openldap-host "$OPENLDAP_HOST" \
    --openldap-base-dn 'dc=example,dc=com' \
    --sssd-bind-dn 'cn=sssd,ou=services,dc=example,dc=com' \
    --sssd-bind-password 'Admin1234!' \
    --emr-cluster-id "$EMR_CLUSTER_ID"

sudo sh ./ranger-emr-cli-installer/bin/setup.sh add-example-users \
    --region "$REGION" \
    --ssh-key "$SSH_KEY" \
    --solution 'emr-native' \
    --auth-provider 'openldap' \
    --kerberos-kdc-host "$KERBEROS_KDC_HOST" \
    --openldap-host "$OPENLDAP_HOST" \
    --openldap-base-dn 'dc=example,dc=com' \
    --openldap-root-cn 'admin' \
    --openldap-root-password 'Admin1234!' \
    --example-users 'example-user-1,example-user-2'

# run on master node of emr cluster
for i in {1..10}; do
    printf "\n%100s\n\n"|tr ' ' '='
    sudo stat /etc/hive/ranger_policy_cache/hiveServer2_hive.json
    sleep 3
done

insert into ranger_test(id) values(1);
insert into ranger_test(id) values(2);
insert into ranger_test(id) values(3);
select * from ranger_test;

# run in scala editor of hue
spark.read.csv("s3://ranger-test/").show;

# run on master node of emr cluster
for i in {1..10}; do
    printf "\n%100s\n\n"|tr ' ' '='
    sudo stat /emr/secretagent/ranger_policy_cache/emrS3RangerPlugin_emrfs.json
    sleep 3
done

# run in scala editor of hue
spark.sql("select * from ranger_test").show

# run on master node of emr cluster
for i in {1..10}; do
    printf "\n%100s\n\n"|tr ' ' '='
    sudo stat /etc/emr-record-server/ranger_policy_cache/emrSparkRangerPlugin_spark.json 
    sleep 3
done