目录
AI 原生分析平台需要在归属责任、产品隔离、权限和 AI 访问方面划定明确边界。PKSHA Technology 的 Laplace 在从 BigQuery raw 数据经 dbt 到 Lightdash 的共用路径上设置了这些边界,让人与 AI 能够使用相同的指标定义。
要点#
- 产品开发者负责数据摄取、转换、指标定义和访问决策,平台管理员提供基础设施。
- 各产品在共用平台中拥有各自的数据集、dbt 项目和 Lightdash 项目。
- Lightdash 控制用户访问,另一个应用负责管理经批准的临时授权。
- AI 使用调用者的权限,并接收用于复现查询的参考信息。返回给模型的响应不包含 PII 行数据。
分离归属责任与运维#
平台管理员负责存储、运行环境、认证和治理机制。产品开发者则对自己的数据负责,包括数据摄取、dbt 模型、指标、PII 分类和权限审批。
通过代码仓库和部署凭据强制落实这一分工。Laplace 将基础设施与 dbt 分离,并将 dbt CI 的操作范围限制在专用的 Kubernetes 命名空间内。产品开发者可以修改自己的 dbt 调度,而无需获得操作其他工作负载或身份的权限。
使用身份联合,避免分发长期有效的密钥。Laplace 对产品上传使用 Workload Identity Federation,对 GKE 工作负载使用 Workload Identity,对本地开发使用 Application Default Credentials。通过 Glue 摄取的路径是个例外:服务账号密钥获准创建表和写入数据,但不具备 bigquery.tables.getData 权限。这降低了读取导致的泄露风险,但仍可能通过写入破坏数据。
以产品为隔离单位#
在四个层面使用相同的产品标识符。
| 层 | 产品边界 | |---|---| | GCS | 限定写入权限范围的 <product>/ 前缀 | | BigQuery | 配置了 IAM 的 <product>_raw、_staging、_mart 数据集 | | dbt | projects/<product>/ 下的独立项目 | | Lightdash | 连接该产品 mart 数据的项目 |
所有摄取路径都汇入 raw 层。默认采用文件上传;对于需要处理更新且数据新鲜度需控制在 30 分钟以内的表,使用 Datastream CDC。部分工作负载因 CDC 按数据量计费的成本不划算,改用 Glue 写入。下游转换应依赖 raw 层的数据契约,避免耦合表所使用的传输路径。
以声明式方式添加产品。Laplace 检测 products/<product>/config.yaml 文件,并通过 Terraform 迭代创建资源。添加产品时,只需在已支持的功能范围内添加配置,无需复制基础设施定义。仅靠数据集名称无法实现隔离,必须通过 IAM 强制落实归属责任的边界。
集中管理用户访问#
将 Lightdash 作为用户入口,并将指标定义放在 Lightdash 读取的 dbt schema.yml 文件中。用户直接访问 BigQuery 会绕过 Lightdash 的控制,因此不予允许。产品开发者仍保留构建模型和排查问题所需的数据仓库访问权限。
通过用户属性控制数据可见范围。模型级的 required_attributes 限制表的可见性,sql_filter 根据调用者的属性应用行级限制。Laplace 在 staging 层对标识符加盐后进行哈希处理,并将 PII 原始值分离到专用的 _pii 表中。哈希处理可降低泄露风险,但不能保证数据已匿名化。
通过另一个应用进行临时授权。在 Laplace 中,产品管理员审批申请,应用数据库定义权限的预期状态。协调处理会删除管理范围之外的授权,并记录下来以供审计。授权记录和 Lightdash 查询历史会关联到 BigQuery 作业。仅凭数据仓库日志,只能识别共用的 Lightdash 服务账号,无法识别具体调用者。
对 AI 应用相同的访问边界#
Laplace 的托管 MCP 服务器遵循四条规则。
- 交互式访问的调用者使用本人的 Lightdash OAuth 身份进行认证。
- 返回查询结果时,同时返回编译后的 SQL 和用于复现的 URL。
- 不向 LLM 传递 PII 行数据,而是返回执行状态、行数、SQL,以及供有权限的用户查看的 URL。
- 支持提交权限申请,审批和撤销则通过人工操作的界面完成。
检测 PII 时,不根据字段名推测,而是检查编译后 SQL 中的表引用,包括 FROM 和 JOIN。如果编译失败,则采取保守策略,拒绝请求。此外,使用另一个仅能读取 mart 数据集的服务账号,防止通过 Lightdash 访问 raw 数据。
还需要在预期查询路径之外验证这些控制措施。检查嵌套查询、元数据、错误信息和生成的 SQL 中是否包含敏感值。仅仅不传递结果行数据,并不能证明所有响应都能安全地发送给模型。
了解权衡#
Laplace 将辅助功能放在 BI 应用之外。通知功能执行声明式规则,向 Slack 发送条件值、数量和仪表板 URL,不包含行数据。查询使用机器人的权限执行,因此规则的所有者和编辑限制十分重要。机器人可能访问比规则创建者更广的数据范围。
为实现自动化,Laplace 介绍的 OSS 配置会直接在 Lightdash 元数据数据库中创建 API 专用机器人用户,并签发 PAT。这依赖内部结构,因此升级时需要检查。请确认所部署版本中各版本类型的功能。
仅限 mart 的数据仓库凭据,也无法在 Laplace 现有的预览工作流中编译整个 dbt 项目。因此,生产环境的 Explore 变更仍存在验证不足。在扩展这一工作流之前,应先准备权限受限的验证环境。
下一步#
为一个产品编写访问边界文档,明确数据负责人、允许的摄取路径、数据集权限、PII 表,以及人与 AI 各类查询所使用的身份。
来源: https://zenn.dev/pksha/articles/laplace-build-guide
目录
