BigQuery に接続する

目的

アナリティクス クラウド コネクト アクセス ツールは、アナリティクス 2.0 を使用して Procore から BigQuery へのデータ転送を構成、管理するのに役立つノートブックです。

前提 条件

ステップス

  1. 構成のセットアップ
  2. BigQuery アプリケーションを実行する

構成のセットアップ

デルタ共有の構成

  1. Delta Share の資格情報を使用して config.share という名前のファイルを JSON 形式で作成します。
  2. 必須フィールドを取得します。
    メモ：これらの詳細は、Analytics Web アプリケーションから取得できます。
    • bearerTokenです。 Delta Share アクセス トークン。
    • エンドポイント： Delta Share エンドポイント URL。
    • shareCredentialsVersionに追加します。 バージョン番号 (現在は 1)。
config.share ファイルの例

{
"shareCredentialsVersion":1、
"bearerToken": "",
"エンドポイント": ""
}

BIGQUERY の構成

  1. Analytics Web アプリケーションから bigquery.zip ファイルをダウンロードします。
    メモ：圧縮されたパッケージは、会社レベルのアナリティクス ツール(アナリティクス > スタートガイド> > BigQuery から)からダウンロードできます。
  2. パッケージを任意のディレクトリに抽出します。
  3. config.yaml ファイルを開き、次のパラメーターを変更します。
    • source_config.config_pathに追加します。 Delta Share 構成ファイルへのパス。
    • source_config.テーブル: 処理する特定のテーブルのオプションのリスト。すべてのテーブルを処理するには、空のままにします。
    • target_config.project_id: BigQuery の GCP プロジェクト ID。
    • target_config.データセット: BigQuery データセット名。
    • target_config.threads: 同時実行テーブル・プロセスの数。
config.yaml ファイルの例

source_config:
config_path:「<path_to_delta_share_config>」
tables: # オプション - 処理する特定のテーブルのリスト
- 「テーブル1」
- 「テーブル2」

target_config:
project_id: <your-gcp-project-id>
データセット: "<bigquery-dataset-name>"
target_type: bigquery

設定ファイルのアップロード
  1. config.yaml と config.share ファイルの両方を gs バケットにアップロードします。
    1. Google Cloud Storage(GCS) (英語)

BigQuery アプリケーションを実行する

  1. Python ノートブックを作成し、次のパッケージをインストールします。
    • %pipインストールデルタ共有
    • pipインストールpandas-gbq -U
  2. delta_share_to_bq.py からコードをコピーしてノートブックに貼り付け、構成パス (config.yaml) を更新します。そしてそれを実行します。

監視とログ記録

このアプリケーションは、次のような詳細なログ記録を提供します。

ベスト プラクティス

トラブルシューティング

一般的な問題と解決策:

サポート

さらにヘルプが必要な場合: