目次

AIネイティブな分析基盤には、所有責任、プロダクト間の分離、権限、AIアクセスについて明確な境界が必要です。PKSHA TechnologyのLaplaceは、BigQueryのrawデータからdbtを経てLightdashに至る共通の経路にこれらの境界を設け、人とAIが同じ指標定義を使えるようにしています。

要点#

  • プロダクト開発者がデータ取り込み、変換、指標定義、アクセス判断を担い、基盤管理者がインフラを提供します。
  • 各プロダクトは、共通基盤内でデータセット、dbtプロジェクト、Lightdashプロジェクトを個別に持ちます。
  • Lightdashが利用者のアクセスを制御し、別のアプリケーションが承認済みの一時的な権限付与を管理します。
  • AIは呼び出し元の権限を使い、クエリを再現するための参照情報を受け取ります。PIIの行データはモデルへの応答に含めません。

所有責任と運用を分離する#

基盤管理者には、ストレージ、実行環境、認証、ガバナンスの仕組みを任せます。プロダクト開発者には、データ取り込み、dbtモデル、指標、PII分類、権限承認といった、自分たちのデータに関する責任を持たせます。

この分担をリポジトリとデプロイ用認証情報で強制します。Laplaceはインフラとdbtを分離し、dbtのCIが操作できる範囲を専用のKubernetes名前空間に限定しています。プロダクト開発者は、ほかのワークロードやIDを操作する権限を得ることなく、自分たちのdbtスケジュールを変更できます。

長期間有効な鍵を配布せず、ID連携を使います。Laplaceでは、プロダクトからのアップロードにWorkload Identity Federation、GKEワークロードにWorkload Identity、ローカル開発にApplication Default Credentialsを使います。Glueによる取り込み経路は例外で、サービスアカウントキーにテーブル作成と書き込みを許可する一方、bigquery.tables.getDataは許可していません。これにより読み取りによる漏えいリスクは抑えられますが、データを損なう書き込みは依然として可能です。

プロダクトを分離の単位にする#

4つの層で同じプロダクト識別子を使います。

| 層 | プロダクトの境界 | |---|---| | GCS | 書き込み権限の範囲を限定した<product>/プレフィックス | | BigQuery | IAMを設定した<product>_raw、_staging、_martデータセット | | dbt | projects/<product>/配下の独立したプロジェクト | | Lightdash | そのプロダクトのmartデータに接続するプロジェクト |

すべての取り込み経路はrawに集約します。標準はファイルアップロードで、更新への対応と30分以内の鮮度が必要なテーブルにはDatastream CDCを使います。CDCのデータ量に応じたコストが見合わない一部のワークロードは、Glueで書き込みます。下流の変換はrawのデータ契約に依存させ、テーブルがどの転送経路で届いたかを組み込まないようにします。

プロダクト追加を宣言的にします。Laplaceはproducts/<product>/config.yamlファイルを検出し、Terraformの反復処理でリソースを作成します。プロダクトを追加する際は、インフラ定義を複製するのではなく、対応済みの機能の範囲で設定を追加します。データセット名だけでは分離できません。IAMで所有責任の境界を強制する必要があります。

利用者のアクセスを一か所で管理する#

Lightdashを利用者の入口とし、指標定義はLightdashが読み込むdbtのschema.ymlファイルに置きます。利用者にBigQueryへの直接アクセスを与えるとLightdashの制御を迂回できるため、許可しません。プロダクト開発者には、モデルの構築や調査に必要なデータウェアハウスへのアクセスを残します。

ユーザー属性でデータの可視範囲を制御します。モデル単位のrequired_attributesでテーブルの表示を制限し、sql_filterで呼び出し元の属性に基づく行制限を適用します。Laplaceはstagingで識別子にソルトを加えてハッシュ化し、PIIの元の値を専用の_piiテーブルに分離します。ハッシュ化は漏えいリスクを減らしますが、データが匿名であることを保証するものではありません。

一時的な権限付与は別のアプリケーションで行います。Laplaceではプロダクト管理者が申請を承認し、アプリケーションのデータベースが権限のあるべき状態を定義します。整合処理では管理外の権限付与を削除し、監査用に記録します。権限付与の記録とLightdashのクエリ履歴をBigQueryジョブにひも付けます。データウェアハウスのログだけでは、共有のLightdashサービスアカウントしか特定できず、個々の呼び出し元は分かりません。

AIにも同じアクセス境界を適用する#

Laplaceのホスト型MCPサーバーは、4つのルールに従います。

  • 対話的にアクセスする呼び出し元は、本人のLightdash OAuth IDで認証する。
  • クエリ結果とともに、コンパイル済みSQLと再現用URLを返す。
  • PIIの行データはLLMに渡さず、実行状況、行数、SQL、権限を持つユーザーが閲覧するためのURLを返す。
  • 権限申請を可能にし、承認と取り消しは人が操作するインターフェースで行う。

PIIの検出では、フィールド名から推測するのではなく、コンパイル済みSQLのFROMやJOINを含むテーブル参照を調べます。コンパイルに失敗した場合は、安全側に倒してリクエストを拒否します。また、読み取り先をmartデータセットに限定した別のサービスアカウントにより、Lightdashからrawデータへのアクセスも防ぎます。

これらの制御は、想定したクエリ経路以外でも検証する必要があります。ネストしたクエリ、メタデータ、エラー、生成されたSQLに機密値が含まれないか確認します。結果の行データを渡さないだけでは、すべての応答をモデルに安全に送れるとは証明できません。

妥協点を把握する#

Laplaceは補助機能をBIアプリケーションの外に置いています。通知機能は宣言的なルールを実行し、行データを含めずに、条件値、件数、ダッシュボードURLをSlackへ送ります。クエリはボットの権限で実行されるため、ルールの所有者と編集制限が重要です。ボットはルール作成者よりも広い範囲のデータを参照できる可能性があります。

自動化に向けて、Laplaceで紹介されているOSS構成では、LightdashのメタデータデータベースにAPI専用のボットユーザーを直接作成し、PATを発行しています。これは内部構造に依存するため、アップグレード時の確認が必要です。デプロイするバージョンで各エディションの機能を確認してください。

martに限定したデータウェアハウスの認証情報では、Laplaceの既存のプレビューワークフローでdbtプロジェクト全体をコンパイルすることもできません。そのため、本番環境のExplore変更には検証の不足が残ります。このワークフローを拡張する前に、権限を制限した検証環境を用意します。

次のステップ#

1つのプロダクトについてアクセス境界を記した文書を作成し、データ責任者、許可する取り込み経路、データセットの権限、PIIテーブル、人とAIの各クエリに使うIDを明記してください。

出典: https://zenn.dev/pksha/articles/laplace-build-guide

目次