在AWS胶水作业中处理加密的JSON

Question

在我们的本地环境中，JSON为贷款数据生成数据，并使用核心加密jar进行加密，这个加密的JSON保存到mysql表中，并且从java调用相同的核心加密jar来解密相同的JSON值。现在我们决定将Glue服务用于ETL目的。当来自加密的JSON的数据在Glue执行期间存在时，有人能在这里帮助我调用核心加密吗？

我们如何在AWS Glue ETL Job中处理上述流程？

Answer 1

您可能需要使用自定义脚本。

https://docs.aws.amazon.com/glue/latest/dg/console-custom-created.html

您可以指定脚本所依赖的jars：

相关jars路径，以逗号分隔的亚马逊S3脚本所需的JAR文件的路径。注意:目前，只能使用纯Java或Scala (2.11)库。

创建胶水作业，如下所述：

https://docs.aws.amazon.com/glue/latest/dg/add-job.html

Answer 2

如果最终您需要将密钥上传到AWS以解密此JSON，则您的系统不会更加安全。您也可以在将此JSON保存到数据库时不对其进行加密，而是将数据库配置为使用客户管理的KMS密钥进行加密。

通过这种方式，您将获得更多的功能，因为您可以记录KMS密钥使用情况，以及限制哪些服务可以访问以能够解密数据。如果您将秘密保存在jar文件中，则在读取此数据的任何位置都需要此jar文件，并且最终会将此秘密分发到不同的位置，而没有KMS提供给您的安全控制或审计。