目录

AI 原生分析平台需要在归属责任、产品隔离、权限和 AI 访问方面划定明确边界。PKSHA Technology 的 Laplace 在从 BigQuery raw 数据经 dbt 到 Lightdash 的共用路径上设置了这些边界,让人与 AI 能够使用相同的指标定义。

要点#

  • 产品开发者负责数据摄取、转换、指标定义和访问决策,平台管理员提供基础设施。
  • 各产品在共用平台中拥有各自的数据集、dbt 项目和 Lightdash 项目。
  • Lightdash 控制用户访问,另一个应用负责管理经批准的临时授权。
  • AI 使用调用者的权限,并接收用于复现查询的参考信息。返回给模型的响应不包含 PII 行数据。

分离归属责任与运维#

平台管理员负责存储、运行环境、认证和治理机制。产品开发者则对自己的数据负责,包括数据摄取、dbt 模型、指标、PII 分类和权限审批。

通过代码仓库和部署凭据强制落实这一分工。Laplace 将基础设施与 dbt 分离,并将 dbt CI 的操作范围限制在专用的 Kubernetes 命名空间内。产品开发者可以修改自己的 dbt 调度,而无需获得操作其他工作负载或身份的权限。

使用身份联合,避免分发长期有效的密钥。Laplace 对产品上传使用 Workload Identity Federation,对 GKE 工作负载使用 Workload Identity,对本地开发使用 Application Default Credentials。通过 Glue 摄取的路径是个例外:服务账号密钥获准创建表和写入数据,但不具备 bigquery.tables.getData 权限。这降低了读取导致的泄露风险,但仍可能通过写入破坏数据。

以产品为隔离单位#

在四个层面使用相同的产品标识符。

| 层 | 产品边界 | |---|---| | GCS | 限定写入权限范围的 <product>/ 前缀 | | BigQuery | 配置了 IAM 的 <product>_raw、_staging、_mart 数据集 | | dbt | projects/<product>/ 下的独立项目 | | Lightdash | 连接该产品 mart 数据的项目 |

所有摄取路径都汇入 raw 层。默认采用文件上传;对于需要处理更新且数据新鲜度需控制在 30 分钟以内的表,使用 Datastream CDC。部分工作负载因 CDC 按数据量计费的成本不划算,改用 Glue 写入。下游转换应依赖 raw 层的数据契约,避免耦合表所使用的传输路径。

以声明式方式添加产品。Laplace 检测 products/<product>/config.yaml 文件,并通过 Terraform 迭代创建资源。添加产品时,只需在已支持的功能范围内添加配置,无需复制基础设施定义。仅靠数据集名称无法实现隔离,必须通过 IAM 强制落实归属责任的边界。

集中管理用户访问#

将 Lightdash 作为用户入口,并将指标定义放在 Lightdash 读取的 dbt schema.yml 文件中。用户直接访问 BigQuery 会绕过 Lightdash 的控制,因此不予允许。产品开发者仍保留构建模型和排查问题所需的数据仓库访问权限。

通过用户属性控制数据可见范围。模型级的 required_attributes 限制表的可见性,sql_filter 根据调用者的属性应用行级限制。Laplace 在 staging 层对标识符加盐后进行哈希处理,并将 PII 原始值分离到专用的 _pii 表中。哈希处理可降低泄露风险,但不能保证数据已匿名化。

通过另一个应用进行临时授权。在 Laplace 中,产品管理员审批申请,应用数据库定义权限的预期状态。协调处理会删除管理范围之外的授权,并记录下来以供审计。授权记录和 Lightdash 查询历史会关联到 BigQuery 作业。仅凭数据仓库日志,只能识别共用的 Lightdash 服务账号,无法识别具体调用者。

对 AI 应用相同的访问边界#

Laplace 的托管 MCP 服务器遵循四条规则。

  • 交互式访问的调用者使用本人的 Lightdash OAuth 身份进行认证。
  • 返回查询结果时,同时返回编译后的 SQL 和用于复现的 URL。
  • 不向 LLM 传递 PII 行数据,而是返回执行状态、行数、SQL,以及供有权限的用户查看的 URL。
  • 支持提交权限申请,审批和撤销则通过人工操作的界面完成。

检测 PII 时,不根据字段名推测,而是检查编译后 SQL 中的表引用,包括 FROM 和 JOIN。如果编译失败,则采取保守策略,拒绝请求。此外,使用另一个仅能读取 mart 数据集的服务账号,防止通过 Lightdash 访问 raw 数据。

还需要在预期查询路径之外验证这些控制措施。检查嵌套查询、元数据、错误信息和生成的 SQL 中是否包含敏感值。仅仅不传递结果行数据,并不能证明所有响应都能安全地发送给模型。

了解权衡#

Laplace 将辅助功能放在 BI 应用之外。通知功能执行声明式规则,向 Slack 发送条件值、数量和仪表板 URL,不包含行数据。查询使用机器人的权限执行,因此规则的所有者和编辑限制十分重要。机器人可能访问比规则创建者更广的数据范围。

为实现自动化,Laplace 介绍的 OSS 配置会直接在 Lightdash 元数据数据库中创建 API 专用机器人用户,并签发 PAT。这依赖内部结构,因此升级时需要检查。请确认所部署版本中各版本类型的功能。

仅限 mart 的数据仓库凭据,也无法在 Laplace 现有的预览工作流中编译整个 dbt 项目。因此,生产环境的 Explore 变更仍存在验证不足。在扩展这一工作流之前,应先准备权限受限的验证环境。

下一步#

为一个产品编写访问边界文档,明确数据负责人、允许的摄取路径、数据集权限、PII 表,以及人与 AI 各类查询所使用的身份。

来源: https://zenn.dev/pksha/articles/laplace-build-guide

目录