BigQuery に接続する

目的

アナリティクスクラウドコネクトアクセスツールは、アナリティクス 2.0 を使用して Procore から BigQuery へのデータ転送を構成、管理するのに役立つノートブックです。

アナリティクス 2.0 SKU
Google Cloud Platform(GCP)へのアクセス
Delta Share と BigQuery の両方に必要な権限
会社レベルのアナリティクス ツール(アナリティクス > スタートガイド> 接続オプション> BigQuery を使用)から、圧縮されたパッケージをダウンロードします。

Delta Share の資格情報を使用して config.share という名前のファイルを JSON 形式で作成します。
必須フィールドを取得します。
メモ：これらの詳細は、Analytics Web アプリケーションから取得できます。
- bearerTokenです。 Delta Share アクセストークン。
- エンドポイント： Delta Share エンドポイント URL。
- shareCredentialsVersionに追加します。 バージョン番号 (現在は 1)。

{
"shareCredentialsVersion":1、
"bearerToken": "",
"エンドポイント": ""
}

Analytics Web アプリケーションから bigquery.zip ファイルをダウンロードします。
メモ：圧縮されたパッケージは、会社レベルのアナリティクス ツール(アナリティクス > スタートガイド> > BigQuery から)からダウンロードできます。
パッケージを任意のディレクトリに抽出します。
config.yaml ファイルを開き、次のパラメーターを変更します。
- source_config.config_pathに追加します。 Delta Share 構成ファイルへのパス。
- source_config.テーブル: 処理する特定のテーブルのオプションのリスト。すべてのテーブルを処理するには、空のままにします。
- target_config.project_id: BigQuery の GCP プロジェクト ID。
- target_config.データセット: BigQuery データセット名。
- target_config.threads: 同時実行テーブル・プロセスの数。

source_config:
config_path:「<path_to_delta_share_config>」
tables: # オプション - 処理する特定のテーブルのリスト
- 「テーブル1」
- 「テーブル2」

target_config:
project_id: <your-gcp-project-id>
データセット: "<bigquery-dataset-name>"
target_type: bigquery

config.yaml と config.share ファイルの両方を gs バケットにアップロードします。
1. Google Cloud Storage(GCS) (英語)
  - 形式 gs://bucket-name/path/to/config.yaml を使用します。

Python ノートブックを作成し、次のパッケージをインストールします。
- %pipインストールデルタ共有
- pipインストールpandas-gbq -U
delta_share_to_bq.py からコードをコピーしてノートブックに貼り付け、構成パス (config.yaml) を更新します。そしてそれを実行します。

このアプリケーションは、次のような詳細なログ記録を提供します。

パフォーマンスの最適化
- システムリソースに基づいてスレッド数を調整します。
- 大きなテーブルでメモリ使用量を監視します。
- 同時実行プロセスを設定するときは、テーブルのサイズを考慮してください。
エラー管理
- アプリケーションログを監視します。
- 適切なアラートを設定します。
- バックアップ構成を維持します。

一般的な問題と解決策:

さらにヘルプが必要な場合: