Python を使用した SQL Server へのエクスポート (SSIS)
概要
Procore アナリティクス クラウド コネクト アクセス ツールは、Procore から MS SQL Server へのデータ転送の構成と管理に役立つコマンドライン インターフェイス (CLI) です。これは、次の 2 つの主要コンポーネントで構成されています。
- user_exp.py (設定設定ユーティリティ)
- delta_share_to_azure_panda.py (データ同期スクリプト)
前提条件
- システムにインストールされているPythonとpip。
- Procore Delta Share へのアクセス。
- MS SQL Server アカウントの資格情報。
- 必要な依存関係をインストールします: pip install -r requirements.txt。
ステップ
初期設定
- 設定ユーティリティを実行します。
Python user_exp.py
これは、次の設定に役立ちます。
- Delta Share ソースの構成
- MS SQL Server ターゲット構成
- スケジュール設定
データ同期
構成後、データ同期を実行するには次の 2 つのオプションがあります。
- 直接実行 python
delta_share_to_azure_panda.py
又は - スケジュールされた実行
セットアップ時に設定した場合、ジョブはcronスケジュールに従って自動的に実行されます。
デルタ共有の構成
- JSON 形式の Delta Share 資格情報を使用して 、config.share という名前の 新しいファイルを作成します。
{
"shareCredentialsVersion":1、
"bearerToken": "xxxxxxxxxxxxx",
"endpoint": "https://nvirginia.cloud.databricks.c...astores/xxxxxx"
}
- 必須フィールドを取得します。
手記：これらの詳細は、Procore アナリティクス ウェブ アプリケーションから取得できます。- ShareCredentialsVersion: バージョン番号 (現在は 1)。
- BearerToken: Delta Share アクセス トークン。
- エンドポイント: Delta Share エンドポイント URL。
- ファイルを安全な場所に保存します。
- データ ソースを構成するときに、次の情報を提供するように求められます。
- テーブルのリスト (カンマ区切り)。
- すべてのテーブルを同期するには、空白のままにします。
- 例: 'table1, t able2, table3'。
- 「config.share」へのパス ファイル。
MS SQL Server の構成
次の MS SQL Server の詳細を指定する必要があります。
- データベース
- ホスト
- パスワード
- スキーマ
- ユーザー名
SSIS の構成
- コマンドラインを使用して、「 cd <path to the folder>」と入力してフォルダに移動します。
- 「pip install -r requirements.txt」または「python -m pip install -r requirements.txt」を使用して、必要なパッケージをインストールします。
- SSIS を開き、新しいプロジェクトを作成します。
- SSIS ツールボックスから、「プロセス タスクの実行」アクティビティをドラッグ アンド ドロップします。
- 「プロセスタスクの実行」をダブルクリックし、「プロセス」タブに移動します。
- 「実行可能ファイル」に、Pythonインストールフォルダ内のpython.exeへのパスを入力します。
- 「WorkingDirectory」に、実行するスクリプトが格納されているフォルダへのパスを入力します(スクリプトファイル名は含みません)。
- 「引数」に、スクリプトの名前「delta_share_to_azure_panda.py」を入力します 。 .pyで実行したい拡張して保存します。
- 上部ペインの[スタート]ボタンをクリックします。
- タスクの実行中、Python コンソールの出力が外部コンソール ウィンドウに表示されます。
- タスクが完了すると、緑色のチェックマークが表示されます。
