TL;博士
我们正在寻找一种方法,让一个服务帐户继承来自多个其他服务帐户的B2B读取权限。模拟只适用于一个。
场景
我们公司采用数据网格方法,我们的产品团队负责将他们的数据集成到BigQuery中。产品所有者也被认为是数据的所有者。因此,由产品所有者来决定由谁来访问数据。
在一个分析团队中,我们通常在BigQuery查询中组合来自多个源系统的数据。我们的ETL进程运行在kubernetes集群上,每个进程都使用一个单独的服务帐户。这为我们提供了细粒度的访问控制,因为每个进程对数据的访问仅限于它们真正需要的对象。这种设计也有助于我们进行调试和成本控制。另一方面,这导致了源端的一个问题:
问题
每次我们设计一个新的流程时,我们都需要向数据所有者询问备抵。他们已经同意,我们的产品团队/系统在健康的层次上可以访问他们的数据,因此这个授权过程相当繁琐,并混淆了数据所有者。
我们更希望为每个保存必要的BQ读取权限的源对象只设置一个“代理”服务帐户。然后,流程的服务帐户将被设置为从代理服务帐户继承他们所需访问的BQ源的权限。
只有在只有一个源系统的情况下,使用冒充才有帮助,但是我们的查询经常使用多个源系统。
使用Google组的无助于
我们讨论了一个解决方案,在这个解决方案中,我们为我们想要读取的每个源系统建立了一个google组。然后将BigQuery数据读取器角色分配给该组。反过来,需要这些权限的服务帐户将被添加到组中。然而,公司政策不允许向google组添加服务帐户。而且,google组不能由我们的产品团队自己管理(创建),因此这种方法缺乏灵活性。
实现了粗粒度方法
一种方法是使用更粗粒度的访问控制,即只对所有ETL进程使用一个服务帐户。我们可以将进程名作为标签添加到查询中,以涵盖调试和成本控制部分。但是,如果可能的话,我们更倾向于一种方法,在这种方法中,进程只能访问尽可能少的数据对象。
发布于 2022-09-22 19:03:51
你没有简单的解决办法。
数据治理已经到位,以控制数据的质量、来源和访问。要求他们访问数据是正常的。
特殊组可以访问所有数据源(在向每个数据网格实例的data团队发出请求之后)。
但是,不允许具有服务帐户的组。
我看到的唯一解决方案是使用在所有数据网格实例上授权的服务帐户,并模拟它来访问所有源。
这并不是最完美的追踪,但我没有看到任何其他好的解决办法。
https://stackoverflow.com/questions/73814861
复制相似问题