Procore アナリティクス 2.0 の入門

初期設定

• 設定ユーティリティを実行します。
  Python user_exp.py

これは、次の設定に役立ちます。

• Delta Share ソースの構成
• MS SQL Server ターゲット構成
• スケジュール設定

データ同期

構成後、データ同期を実行するには次の 2 つのオプションがあります。

1. 直接実行 python
   delta_share_to_azure_panda.py
   又は
2. スケジュールされた実行
   セットアップ時に設定した場合、ジョブはcronスケジュールに従って自動的に実行されます。

デルタ共有の構成

1. JSON 形式の Delta Share 資格情報を使用して 、config.share という名前の 新しいファイルを作成します。

2. 必須フィールドを取得します。
   手記：これらの詳細は、Procore アナリティクス ウェブ アプリケーションから取得できます。
   • ShareCredentialsVersion: バージョン番号 (現在は 1)。
   • BearerToken: Delta Share アクセス トークン。
   • エンドポイント: Delta Share エンドポイント URL。
   • ファイルを安全な場所に保存します。
3. データ ソースを構成するときに、次の情報を提供するように求められます。
   • テーブルのリスト (カンマ区切り)。
   • すべてのテーブルを同期するには、空白のままにします。
   • 例: 'table1, t able2, table3'。
   • 「config.share」へのパス ファイル。

MS SQL Server の構成

次の MS SQL Server の詳細を指定する必要があります。

• データベース
• ホスト
• パスワード
• スキーマ
• ユーザー名

SSIS の構成

1. コマンドラインを使用して、「 cd <path to the folder>」と入力してフォルダに移動します。
2. 「pip install -r requirements.txt」または「python -m pip install -r requirements.txt」を使用して、必要なパッケージをインストールします。
3. SSIS を開き、新しいプロジェクトを作成します。
4. SSIS ツールボックスから、「プロセス タスクの実行」アクティビティをドラッグ アンド ドロップします。
   
   
5. 「プロセスタスクの実行」をダブルクリックし、「プロセス」タブに移動します。
6. 「実行可能ファイル」に、Pythonインストールフォルダ内のpython.exeへのパスを入力します。
7. 「WorkingDirectory」に、実行するスクリプトが格納されているフォルダへのパスを入力します(スクリプトファイル名は含みません)。
8. 「引数」に、スクリプトの名前「delta_share_to_azure_panda.py」を入力します 。 .pyで実行したい拡張して保存します。
   
   
    
9. 上部ペインの[スタート]ボタンをクリックします。
   
10. タスクの実行中、Python コンソールの出力が外部コンソール ウィンドウに表示されます。
11. タスクが完了すると、緑色のチェックマークが表示されます。
    
    

パッケージを準備する

1. JSON 形式の Delta Share 資格情報を使用して 、config.share という名前の新しいファイルを作成します。

2. 必須フィールドを取得します。
   手記： これらの詳細は、Procore アナリティクス ウェブ アプリケーションから取得できます。
   • ShareCredentialsVersion: バージョン番号 (現在は 1)。
   • BearerToken: Delta Share アクセス トークン。
   • エンドポイント: Delta Share エンドポイント URL。
3. パッケージをダウンロードして解凍します。
4. 任意のディレクトリにパッケージを解凍します。
5. *.share Delta Sharing プロファイル ファイルをパッケージ ディレクトリにコピーして、簡単にアクセスできるようにします。
   

依存関係のインストール

1. パッケージディレクトリでターミナルを開きます。
2. 次のコマンドを実行して、依存関係をインストールします。
3. pip install -r requirements.txtを実行します
   

コンフィギュレーションの生成

1. python user_exp.py を実行して config.yaml ファイルを生成します。
   このスクリプトは、必要な資格情報と設定を含む config.yaml ファイルを生成するのに役立ちます。
2. データ ソースを構成するときに、次の情報を提供するように求められます。
   • テーブルのリスト (カンマ区切り)。
   • すべてのテーブルを同期するには、空白のままにします。
     例: 'table1, table2, table3'。
   • 「config.share」へのパスファイル。
3. 初めて、Delta Share ソース構成の場所、テーブル、データベース、ホストなどの資格情報を指定します。
   手記：その後、手動で、またはpython user_exp.pyを実行して、構成を再利用または更新できます。

cron ジョブと即時実行の構成 (オプション)

1. 自動実行用にcronジョブを設定するかどうかを決定します。
2. cron スケジュールを指定します。
   • 形式: * * * * * ( 分、時、「月の日」、月、「曜日」)。
   • 毎日午前 2 時の実行の例: 0 2 * * *
   • スケジュール ログを確認するために、スケジュールが設定されるとすぐにファイル 'procore_scheduling.log' が作成されます。

また、ターミナルコマンドで実行してスケジュールを確認することもできます。

LinuxおよびMacOSの場合:

編集/削除 - 以下を使用してスケジューリングcronを編集します。

• 上記のコマンドを実行すると、次のようなものが表示されます。
• 2 * * * * /ユーザー/your_user/スノーフレーク/venv/bin/python /ユーザー/your_user/スノーフレーク/sql_server_python/connection_config.py 2>&1 |行を読み取っている間。do echo "$(日付) - $line";完了 >> /ユーザー/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
• また、schedule cron を調整したり、行全体を削除したりして、スケジュールによる実行を停止することもできます。

Windowsの場合:

• スケジュール タスクが作成されたことを確認します。
  '''PowerShell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• 編集/削除 - タスクのスケジュール設定:
  タスクスケジューラを開きます。
  • Win + Rを押し、taskschd.mscと入力し、と入力し、Enter キーを押します。
  • スケジュールされたタスクに移動します。
  • 左側のウィンドウで、[タスク スケジューラ ライブラリ] を展開します。
  • タスクが保存されているフォルダを探します (例: タスク スケジューラ ライブラリまたはカスタム フォルダ)。
• タスクを見つける:
  • タスク名 ProcoreDeltaShareScheduling を探します。
  • それをクリックすると、下部のペインに詳細が表示されます。
• スケジュールを確認します。
  • [トリガー] タブをチェックして、タスクがいつ実行されるかを確認します。
  • [履歴] タブをチェックして、最近の実行を確認します。
• タスクを削除するには:
  • GUI からタスクを削除します。

即時実行の質問:

• 設定後すぐにデータをコピーするためのスクリプトを実行するオプション。
• config.yaml を生成した後、CLIは、パッケージに応じて、データをコピーするためのスクリプトを実行することで、いつでも個別に実行する準備ができています。以下の例を参照してください。
  Python delta_share_to_azure_panda.py
  又は
  Python delta_share_to_SQL_spark.py
  又は
  パイソンdelta_share_to_azure_dfs_spark.py

実行と保守

一般的な問題と解決策

1. cronジョブのセットアップ:
   • システム権限が正しく設定されていることを確認します。
   • ジョブの実行に失敗した場合は、システムログを確認します。
   • スクリプト delta_share_to_azure_panda.pyに実行権限があることを確認します。
2. 構成ファイル:
   • config.yaml ファイルがスクリプトと同じディレクトリにあることを確認します。
   • 変更を加える前にファイルをバックアップしてください。

サポート

さらにヘルプが必要な場合:

1. スクリプト ログで詳細なエラー メッセージを確認します。
2. config.yaml ファイルに設定ミスがないか再確認してください。
3. 権限関連の問題については、システム管理者に問い合わせてください。
4. Delta Share アクセスに関連する問題については、Procore サポートにお問い合わせください。
5. 失敗したテーブルのログを確認する: failed_tables.log。

注

1. 変更を加える前に、必ず構成ファイルをバックアップしてください。
2. 中断を防ぐために、非運用環境で新しい構成をテストします。

パッケージを準備する

1. JSON 形式の Delta Share 資格情報を使用して 、config.share という名前の新しいファイルを作成します。

2. 必須フィールドを取得します。
   手記： これらの詳細は、Procore アナリティクス ウェブ アプリケーションから取得できます。
   • ShareCredentialsVersion: バージョン番号 (現在は 1)。
   • BearerToken: Delta Share アクセス トークン。
   • エンドポイント: Delta Share エンドポイント URL。
3. パッケージをダウンロードして解凍します。
4. 任意のディレクトリにパッケージを解凍します。
5. *.share Delta Sharing プロファイル ファイルをパッケージ ディレクトリにコピーして、簡単にアクセスできるようにします。
   

依存関係のインストール

1. パッケージディレクトリでターミナルを開きます。
2. 次のコマンドを実行して、依存関係をインストールします。
3. pip install -r requirements.txtを実行します
   

コンフィギュレーションの生成

1. python user_exp.py を実行して config.yaml ファイルを生成します。
   このスクリプトは、必要な資格情報と設定を含む config.yaml ファイルを生成するのに役立ちます。
2. データ ソースを構成するときに、次の情報を提供するように求められます。
   • テーブルのリスト (カンマ区切り)。
   • すべてのテーブルを同期するには、空白のままにします。
     例: 'table1, table2, table3'。
   • 「config.share」へのパスファイル。
3. 初めて、Delta Share ソース構成の場所、テーブル、データベース、ホストなどの資格情報を指定します。
   手記：その後、手動で、またはpython user_exp.pyを実行して、構成を再利用または更新できます。

cron ジョブと即時実行の構成 (オプション)

1. 自動実行用にcronジョブを設定するかどうかを決定します。
2. cron スケジュールを指定します。
   • 形式: * * * * * ( 分、時、「月の日」、月、「曜日」)。
   • 毎日午前 2 時の実行の例: 0 2 * * *
   • スケジュール ログを確認するために、スケジュールが設定されるとすぐにファイル 'procore_scheduling.log' が作成されます。

また、ターミナルコマンドで実行してスケジュールを確認することもできます。

LinuxおよびMacOSの場合:

編集/削除 - 以下を使用してスケジューリングcronを編集します。

• 上記のコマンドを実行すると、次のようなものが表示されます。
• 2 * * * * /ユーザー/your_user/スノーフレーク/venv/bin/python /ユーザー/your_user/スノーフレーク/sql_server_python/connection_config.py 2>&1 |行を読み取っている間。do echo "$(日付) - $line";完了 >> /ユーザー/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
• また、schedule cron を調整したり、行全体を削除したりして、スケジュールによる実行を停止することもできます。

Windowsの場合:

• スケジュール タスクが作成されたことを確認します。
  '''PowerShell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• 編集/削除 - タスクのスケジュール設定:
  タスクスケジューラを開きます。
  • Win + Rを押し、taskschd.mscと入力し、と入力し、Enter キーを押します。
  • スケジュールされたタスクに移動します。
  • 左側のウィンドウで、[タスク スケジューラ ライブラリ] を展開します。
  • タスクが保存されているフォルダを探します (例: タスク スケジューラ ライブラリまたはカスタム フォルダ)。
• タスクを見つける:
  • タスク名 ProcoreDeltaShareScheduling を探します。
  • それをクリックすると、下部のペインに詳細が表示されます。
• スケジュールを確認します。
  • [トリガー] タブをチェックして、タスクがいつ実行されるかを確認します。
  • [履歴] タブをチェックして、最近の実行を確認します。
• タスクを削除するには:
  • GUI からタスクを削除します。

即時実行の質問:

• 設定後すぐにデータをコピーするためのスクリプトを実行するオプション。
• config.yaml を生成した後、CLIは、パッケージに応じて、データをコピーするためのスクリプトを実行することで、いつでも個別に実行する準備ができています。以下の例を参照してください。
  Python delta_share_to_azure_panda.py
  又は
  Python delta_share_to_SQL_spark.py
  又は
  パイソンdelta_share_to_azure_dfs_spark.py

実行と保守

一般的な問題と解決策

1. cronジョブのセットアップ:
   • システム権限が正しく設定されていることを確認します。
   • ジョブの実行に失敗した場合は、システムログを確認します。
   • スクリプト delta_share_to_azure_panda.pyに実行権限があることを確認します。
2. 構成ファイル:
   • config.yaml ファイルがスクリプトと同じディレクトリにあることを確認します。
   • 変更を加える前にファイルをバックアップしてください。

サポート

さらにヘルプが必要な場合:

1. スクリプト ログで詳細なエラー メッセージを確認します。
2. config.yaml ファイルに設定ミスがないか再確認してください。
3. 権限関連の問題については、システム管理者に問い合わせてください。
4. Delta Share アクセスに関連する問題については、Procore サポートにお問い合わせください。
5. 失敗したテーブルのログを確認する: failed_tables.log。

注

1. 変更を加える前に、必ず構成ファイルをバックアップしてください。
2. 中断を防ぐために、非運用環境で新しい構成をテストします。

Data Factory エクスペリエンスに切り替える

1. Microsoft Fabric ワークスペースに移動します。
   
    
2. [ 新規] を選択し、[ Dataflow Gen2] を選択します。
   

データフローの設定

1. データフローエディターに移動します。
2. [ データを取得する ] をクリックし、[ その他] を選択します。
3. [新しいソース] で、データ ソースとして [Delta Sharing Other] を選択します。
   
4. 次の詳細を入力します。
   • URL: Delta Sharing 構成ファイルから。
   • ベアラー トークン: config.share ファイルにあります。
     
5. [ 次へ ] をクリックし、目的のテーブルを選択します。
6. [ 作成 ] をクリックしてセットアップを完了します。

データ変換の実行

データフローを設定したら、共有デルタデータに変換を適用できるようになりました。以下のリストから [Delta Sharing Data] オプションを選択します。

• データ送信先を追加
• レイクハウスを作成/開く

データ送信先を追加

1. Data Factory に移動します。
2. [Add Data Destination] をクリックします。
3. ターゲットとして 「Lakehouse 」を選択し、「 次へ」をクリックします。
4. 宛先ターゲットを選択し、[ 次へ] をクリックして確定します。

レイクハウスの作成-オープン

1. レイクハウスを作成して開き、[データを取得する]をクリックします。
2. [新しいデータフロー Gen2] を選択します。
3. [ データの取得]、[ その他 ] の順にクリックして、[ Delta Sharing] を見つけます。
4. config.share ファイルから URL ベアラー トークンを入力し、 [ Next] を選択します。
5. ダウンロードするデータ/テーブルを選択し、[次へ] をクリックします。
6. これらの操作の後、選択したすべてのデータが Fabric Lakehouse にあるはずです。

検証と監視

データパイプラインとフローをテストして、円滑な実行を確保します。データ内で監視ツールを使用する
各アクティビティの進行状況とログを追跡するファクトリ。

構成のセットアップ

1. config.yaml を作成します ファイルを作成し、次の構造で構成を定義します
   source_config:
   config_path: path/to/your/delta-sharing-credentials-file.share
   tables: # オプション - すべてのテーブルを処理するには空のままにします
   - table_name1
   - table_name2
   target_config:
   lakehouse_path: path/to/your/fabric/lakehouse/tables/ # ファブリックのレイクハウスへのパス

レイクハウスをセットアップする

1. Microsoft Fabric ワークスペースを開きます。
2. Lakehouse に移動し、[ ノートブックを開く]、[ 新しいノートブック] の順にクリックします。
3. config.yaml#lakehouse_pathの値がわからない場合は、画面からコピーできます。
4. [ファイル] の省略記号をクリックし、[ABFS パスのコピー] を選択します。
   
   
   

3. ds_to_lakehouse.py のコードをコピーしてノートブックウィンドウに貼り付けます(Pyspark Python)。

次のステップは、独自のconfig.yamlとconfig.shareをLakehouseの Resources フォルダーにアップロードすることです。独自のディレクトリを作成するか、組み込み ディレクトリ( Lakehouseによってリソース用にすでに作成されています)を使用できます。

以下の例は、 config.yaml ファイルの標準 の組み込み ディレクトリを示しています。
注: 両方のファイルを同じレベルにアップロードし、 プロパティ config_pathにアップロードしてください。

4. ノートブックのコード、170 行目から 175 行目を確認します。
以下の例は、必要な行の変更を示しています。

config_path = "./env/config.yaml"

宛先

config_path = "./builtin/config.yaml"

ファイルはカスタム環境ではなく組み込みフォルダーにあるため、ファイルの独自の構造を必ず監視してください。別のフォルダーにアップロードすることもできますが、そのような場合は、ノートブックのコードを更新して config.yaml ファイルを正しく見つけてください。
 

5. [セルの実行]をクリックします。

検証

• ジョブが完了したら、データがレイクハウスに正常にコピーされたことを確認します。
• 指定したテーブルを確認し、データが共有 Delta テーブルと一致することを確認します。
• ジョブが終了するまで待つと、すべてのデータがコピーされます。

パッケージを準備する

1. 必要なパッケージ (adls_azure_function または sql_server_azure_function) をダウンロードします。
2. パッケージファイルをローカルディレクトリに抽出します。
3. Delta Sharing ファイルを配置します。
   • *.share Delta Sharing プロファイル ファイルを抽出したディレクトリにコピーします。

依存関係のインストール

1. パッケージディレクトリでターミナルを開きます。
2. 次のコマンドを実行して、必要な Python 依存関係をインストールします。
   • pip install -r requirements.txtを実行します

コンフィギュレーションの生成

1. 次のコマンドを実行して、config.yaml ファイルを生成します。
   • Python user_exp.py
2. スクリプトでは、次のような資格情報を入力するように求められます。
   • テーブル
   • データベース名
   • ホスト
   • 追加の資格情報..
3. 構成は、手動で、または python user_exp.py を再実行することで、再利用または更新できます。

 Azure CLI のセットアップ

1. Azure にログインします。
2. 次のコマンドを実行してログインします。
   az ログイン
3. Azure アカウントを確認します。
   • azアカウント表示
   • az コマンドが使用できない場合は、Microsoft Learn の手順に従って Azure CLI をインストールします。

Azure Functions Core Tools をインストールする

行きます

Azure 関数を準備する

1. 代わりに、
   Azure Portal guide
   以下を作成するには:
   • 関数アプリ
   • リソース グループ
   • 従量課金プラン
   • ストレージ アカウント
2. カスタムCronスケジュールを設定します(オプション)。
   • エディタでfunction_app.pyを開きます。
   • 次の行を見つけます: @app.timer_trigger(schedule="00 */8 * * *"、
3. スケジュールをカスタムCron式に置き換えて、ファイルを保存します。

配備

1. パッケージディレクトリ(adls_azure_function)でターミナルを開きます。
2. 次のデプロイ コマンドを実行します。
   • func azure functionapp publish <FunctionAppName> --build remote --python --clean
3. <FunctionAppName> は、Azure サブスクリプション内の Azure 関数アプリの名前に置き換えます。

検証

• Azure Portal で関数アプリの状態を確認して、デプロイが成功したことを確認します。
• ログを監視して、関数が期待どおりに実行されていることを確認します。

Access Data Flow Gen2

1. Microsoft Fabricアカウントにログインします。
2. ワークスペースに移動します。
3. 使用可能なオプションから [データ フロー Gen2] を選択します。

データ・ソースの構成

1. 「別のソースからのデータ」をクリックして設定を開始します。
2. [データの取得] 画面で、次の操作を行います。
   • [データ ソースの選択] というラベルの付いた検索バーを見つけます。
   • 検索フィールドに「差分共有」と入力します。
   • 結果から [Delta Sharing] を選択します。
     
     

デルタ共有接続の設定

1. プロンプトが表示されたら、Delta Share の認証情報を入力します。
   • すべての必須フィールドに正確に入力されていることを確認します。
   • 可能であれば、接続を検証します。
2. 「次へ」をクリックして次に進みます。
3. 使用可能なテーブルのリストを確認します。
   • アクセスできるすべてのテーブルが表示されます。
   • 転送するテーブルを選択します。
     

データ送信先の構成

1. 「Add Data Destination」をクリックします。
2. 宛先として [SQL ウェアハウス] を選択します。
   
3. SQL 資格情報を入力します。
   • サーバーの詳細。
   • 認証情報。
   • データベースの仕様。
   • 接続設定を確認します。

ファイナライズとデプロイ

1. すべての構成を確認します。
2. [公開] をクリックしてデータ フローをデプロイします。
3. 確認メッセージが表示されるのを待ちます。

検証

1. SQL ウェアハウスにアクセスします。
2. データが使用可能であり、適切に構造化されていることを確認します。
3. テスト クエリを実行して、データの整合性を確認します。

トラブルシューティング

一般的な問題と解決策:

• 接続エラー: 資格情報とネットワーク接続を確認します。
• 不足しているテーブル: 差分共有のアクセス許可を確認します。
• パフォーマンスの問題: リソースの割り当てと最適化の設定を確認します。

初期設定

python user_exp.pyを使用して設定ユーティリティを実行します。

データ同期

構成後、データ同期を実行するには次の 2 つのオプションがあります。

• 直接実行:
  • Python ds_to_snowflake.py
• スケジュールされた実行
  • セットアップ時に設定した場合、ジョブは Cron スケジュールに従って自動的に実行されます。
  • スケジュールログを確認するために、スケジュールが設定されるとすぐにファイル 「procore_scheduling.log」 が作成されます。
  • また、ターミナルコマンドで実行してスケジュールを確認することもできます。

LinuxおよびMacOSの場合:

• 編集/削除 - 以下を使用してスケジューリングcronを編集します。

  '''bash
  
  EDITOR=nano crontab -e
  
  ```

• 上記のコマンドを実行すると、次のようなものが表示されます。

  2 * * * *
  /ユーザー/your_user/snowflake/venv/bin/python
  
   /ユーザー/your_user/snowflake/sql_server_python/connection_config.py
  2>&1 |行を読み取っている間。do echo "$(日付) - $line";これで完了です>>
  
   /Users/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import

   
• また、schedule cron を調整したり、行全体を削除したりして、スケジュールによる実行を停止することもできます。

Windowsの場合:

• スケジュール タスクが作成されていることを確認します。

  ```
  PowerShellの
  
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  
  ```

• スケジューリングタスクを編集/削除するには、タスクスケジューラを開きます。
• Win + Rを押し、 taskschd.mscと入力し、と入力し、[Enter]を押します。
• スケジュールされたタスクに移動します。
• 左側のウィンドウで、[タスク スケジューラ ライブラリ] を展開します。
• タスクが保存されているフォルダを探します。
  例: タスク スケジューラ ライブラリまたはカスタム フォルダー。
• タスクを見つけます。
• タスク名 ProcoreDeltaShareScheduling を探します。
• それをクリックすると、下部のペインに詳細が表示されます。
• スケジュールを確認します。
  • [トリガー] タブをチェックして、タスクがいつ実行されるかを確認します。
  • [履歴] タブをチェックして、最近の実行を確認します。
• タスクを削除するには:
  • GUI からタスクを削除します。

デルタ共有の構成

• config.shareファイルの作成
• 構成ユーティリティを実行する前に、Delta Share 資格情報を使用して config.share ファイルを作成する必要があります。ファイルはJSON形式である必要があります。

  {

  "shareCredentialsVersion":1、
  "bearerToken": "xxxxxxxxxxxxx",
  "endpoint": "https://nvirginia.cloud.databricks.c...astores/xxxxxx"
  
  }

   

• 必須フィールド:
  • ShareCredentialsVersion: バージョン番号 (現在は 1)。
  • BearerToken: Delta Share アクセス トークン。
  • エンドポイント: Delta Share エンドポイント URL。
  • これらの詳細は、Procore Web UI から取得できます。
• config.shareを作成する手順:
  • config.share という名前の新しいファイルを作成します。
  • 上記の JSON テンプレートをコピーします。
  • プレースホルダーの値を実際の資格情報に置き換えます。
  • ファイルを安全な場所に保存します。
  • 構成時に、このファイルへのパスを指定する必要があります。データ ソースを構成するときに、次の情報を提供するように求められます。
    • テーブルのリスト (カンマ区切り)。
    • すべてのテーブルを同期するには、空白のままにします。
    • 例: table1、table2、table3。
• config.share ファイルへのパス。

Snowflakeの構成

次のSnowflakeの詳細を提供する必要があります。

• 認証 (いずれか選択):
  • ユーザー認証
    • ユーザー名
    • パスワード(安全に入力)
• キーペア認証
  • ユーザー名
  • 秘密キーのファイルパス
  • 秘密鍵ファイルのパスワード
• 接続の詳細:
  • アカウント識別子
  • 倉庫名
  • データベース名
  • スキーマ名
  • 同時スレッドの数

スケジュール オプション

このツールには、自動データ同期をスケジュールする機能があります。

• cronジョブの構成
  • 日次ジョブを設定するかどうかを選択する
  • 「はい」の場合は、cron スケジュールを指定します
  • 形式: * * * * * (分、時間、日、月、日、曜日)
  • 毎日午前 2 時の例: 0 2 * * *
• 即時実行 
  • 設定後すぐにds_to_snowflake.pyを実行するオプション
• ファイル構造

  解除
  ├── requirements.txt# 依存関係
  ├── user_exp.py# 設定ユーティリティ
  ├── ds_to_snowflake.py# データ同期スクリプト
  ├── config.yaml# 生成された設定
  ├── config.share# Delta Share 構成ファイル
  ├── procore_scheduling.log# スケジューリング実行のログ

  
  使用例
  • ステップ 1: 依存関係をインストールする
    $ pip install -r requirements.txt
  • ステップ2:構成ユーティリティを実行する
    $ python user_exp.py 
  • Procore アナリティクス クラウド コネクトへのアクセス 
    • この CLI は、Procore データをSnowflakeにアクセス/書き込みするためのソースストアとデスティネーションストアを選択するのに役立ちます。
    • [Enter]を押して続行します。
    • テーブルのリストを (コンマ区切りで) 入力し、すべてのテーブル (projects、users、tasks) を空白のままにします。
    • config.shareへのパスを入力します。/path/to/config.shareです。
    • ユーザー名に「snowflake_user」と入力します。
    • どの認証タイプを使用しますか?(ユーザー/key_pair): 入力します。
    • ユーザーの場合は 1、
    • キーペアの場合は 2:
    • 1 
    • パスワードを入力してください:********
    • アカウントを入力:my_account
    • 入庫: my_warehouse
    • Enter database name: procore_db (データベース名を入力:
    • スキーマ名を入力: procore_schema
    • スレッド数を入力してください: 4
    • これをcronの日常のジョブとして構成しますか?(はい/いいえ):はい
    • スケジュールを cron 形式で入力します (例: * * * * * ): 0 2 * * *
    • ジョブを今すぐ実行しますか?(はい/いいえ):はい
  • ステップ 3: 手動実行 (必要な場合)
    $ pythonのds_to_snowflake.py 
• 設定の再利用
  このツールは、構成を config.yaml ファイルに保存し、以前に保存した設定を再利用することを提案します。
  • ソース構成は再利用できます。
  • ターゲット(Snowflake)構成は再利用できます。
  • いずれかの構成を個別に更新することを選択できます。

ベストプラクティス

• 認証
  • 可能な場合は、キーペア認証を使用します。
  • 資格情報を定期的にローテーションします。
  • 必要最小限の権限を使用します。
• パフォーマンス
  • システムの機能に基づいてスレッド数を調整します。
  • テスト用のテーブルの小さなサブセットから始めます。

トラブルシューティング

• 一般的な問題と解決策:
  • 無効な認証タイプ
    • プロンプトが表示されたら、必ず「1」(ユーザー)または「2」(key_pair)のいずれかを選択してください。
• cronジョブのセットアップ
  • 適切なシステム権限があることを確認します。
  • ジョブの実行に失敗した場合は、システムログを確認します。
  • ds_to_snowflake.pyに正しい権限があることを確認します。
  • システムログを確認して、cronジョブの設定を確認します。
    「procore_scheduling.log」ファイルを参照してください。
• 構成ファイル
  • スクリプトと同じディレクトリにあり、
  • 名前は config.yaml です。
  • 変更を加える前にバックアップしてください。
• サポート
  • スクリプトのログ出力を確認します。
  • config.yaml ファイルを確認します。
  • 権限関連の問題については、システム管理者に問い合わせてください。
  • Delta Share アクセスの問題について、Procore サポートにお問い合わせください。

手記： 変更を加える前に必ず構成をバックアップし、最初に非運用環境で新しい構成をテストすることを忘れないでください。
 

初期設定

python user_exp.pyを使用して設定ユーティリティを実行します。

これは、次の設定に役立ちます。

• デルタ共有の構成
• S3 ターゲット設定
• スケジュール設定

デルタ共有の構成

• config.shareファイルの作成
• 構成ユーティリティを実行する前に、Delta Share 資格情報を使用して config.share ファイルを作成する必要があります。ファイルはJSON形式である必要があります。

  {

  "shareCredentialsVersion":1、
  "bearerToken": "xxxxxxxxxxxxx",
  "エンドポイント": "xxxxxx"
  
  }

• 必須フィールド:
  • ShareCredentialsVersion: バージョン番号 (現在は 1)。
  • BearerToken: Delta Share アクセス トークン。
  • エンドポイント: Delta Share エンドポイント URL。
  • これらの詳細は、Procore Web UI から取得できます。
• config.shareを作成する手順:
  • config.share という名前の新しいファイルを作成します。
  • 上記の JSON テンプレートをコピーします。
  • プレースホルダーの値を実際の資格情報に置き換えます。
  • ファイルを安全な場所に保存します。
  • 構成時に、このファイルへのパスを指定する必要があります。データ ソースを構成するときに、次の情報を提供するように求められます。
    • テーブルのリスト (カンマ区切り)。
    • すべてのテーブルを同期するには、空白のままにします。
    • 例: table1、table2、table3。
• config.share ファイルへのパス。

S3 設定

次の S3 の詳細を指定する必要があります。

• 認証：
  • アクセスキー
  • 秘密鍵
  • s3:// を含まないバケット名
  • key - ディレクトリ

スケジュール オプション

このツールには、自動データ同期をスケジュールする機能があります。

• cronジョブの構成
  • 日次ジョブを設定するかどうかを選択します。
  • 「はい」の場合は、cron スケジュールを指定します。
  • 形式: * * * * * (分、時間、日、月、日、曜日)。
  • 毎日午前 2 時の例: 0 2 * * *
  • スケジュールログを確認するために、スケジュールが設定されるとすぐにファイル 「procore_scheduling.log」が作成されます。

ターミナルコマンドで実行してスケジュールを確認することもできます

LinuxおよびMacOSの場合:

編集/削除 - 以下を使用してスケジューリングcronを編集します。

• 上記のコマンドを実行すると、次のようなものが表示されます。
• 2 * * * * /ユーザー/your_user/スノーフレーク/venv/bin/python /ユーザー/your_user/スノーフレーク/sql_server_python/connection_config.py 2>&1 |行を読み取っている間。do echo "$(日付) - $line";完了 >> /ユーザー/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
• また、schedule cron を調整したり、行全体を削除したりして、スケジュールによる実行を停止することもできます。

Windowsの場合:

• スケジュール タスクが作成されたことを確認します。
  '''PowerShell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• 編集/削除 - タスクのスケジュール設定:
  タスクスケジューラを開きます。
  • Win + Rを押し、taskschd.mscと入力し、と入力し、Enter キーを押します。
  • スケジュールされたタスクに移動します。
  • 左側のウィンドウで、[タスク スケジューラ ライブラリ] を展開します。
  • タスクが保存されているフォルダを探します (例: タスク スケジューラ ライブラリまたはカスタム フォルダ)。
• タスクを見つける:
  • タスク名 ProcoreDeltaShareScheduling を探します。
  • それをクリックすると、下部のペインに詳細が表示されます。
• スケジュールを確認します。
  • [トリガー] タブをチェックして、タスクがいつ実行されるかを確認します。
  • [履歴] タブをチェックして、最近の実行を確認します。
• タスクを削除するには:
  • GUI からタスクを削除します。

• 即時実行 
  • delta_share_to_s3_.pyを実行するオプションファイル 構造

• 解除
  
  ├── requirements.txt# 依存関係
  ├── user_exp.py# 設定ユーティリティ
  ├── delta_share_to_s3.py# データ同期スクリプト
  ├── config.yaml# 生成された設定
  ├── config.share# Delta Share 構成ファイル
  ├── procore_scheduling.log# スケジューリング実行のログ

  
  使用例
  • ステップ 1: 依存関係をインストールする
    $ pip install -r requirements.txt
  • ステップ2:構成ユーティリティを実行する
    $ python user_exp.py 
  • Procore アナリティクス クラウド コネクトへのアクセス 
    • この CLI は、Procore データを S3 にアクセス/書き込みするためのソースと宛先ストアを選択するのに役立ちます。
    • [Enter]を押して続行します。
    • テーブルのリストを (コンマ区切りで) 入力し、すべてのテーブル (projects、users、tasks) を空白のままにします。
    • config.shareへのパスを入力します。/path/to/config.shareです。
    • 「access key: s3 key」と入力します。
    • 「secret: secret」と入力します。
    • bucket: bucket name を入力します。
    • これをcronの日常のジョブとして構成しますか?(はい/いいえ):はい
    • スケジュールを cron 形式で入力します (例: * * * * * ): 0 2 * * *
    • ジョブを今すぐ実行しますか?(はい/いいえ):はい
  • ステップ 3: 手動実行 (必要な場合)
    $ pythonのdelta_share_to_s3.py 
• 設定の再利用
  このツールは、構成を config.yaml ファイルに保存し、以前に保存した設定を再利用することを提案します。
  • ソース構成は再利用できます。
  • ターゲット(S3)構成は再利用できます。
  • いずれかの構成を個別に更新することを選択できます。

トラブルシューティング

一般的な問題と解決策:

• cronジョブのセットアップ
  • システム権限が正しく設定されていることを確認します。
  • ジョブの実行に失敗した場合は、システムログを確認します。
  • スクリプトを確認する (delta_share_to_s3.py) 実行権限。
• 構成ファイル
  • config.yaml ファイルがスクリプトと同じディレクトリにあることを確認します。
  • 変更を加える前にバックアップしてください。
• サポート
  • スクリプト ログで詳細なエラー メッセージを確認します。
  • config.yaml ファイルの設定ミスを確認します。
  • 権限関連の問題については、システム管理者に問い合わせてください。
  • Delta Share アクセスの問題について、Procore サポートにお問い合わせください。
  • システムログをチェックしてcronジョブの設定を確認します:「 procore_scheduling_log」 ファイルを参照してください。

筆記：

1. 変更を加える前に、必ず設定をバックアップしてください。
2. まず、非運用環境で新しい構成をテストします。

Python コネクタ

Delta Sharing Python コネクタは、Delta Sharing サーバーからテーブルを読み取るための Delta Sharing Protocol を実装する Python ライブラリです。共有テーブルは、 pandas DataFrame として、または Apache Spark コネクタがインストールされた PySpark で実行されている場合は Apache Spark DataFrame として読み込むことができます。

Apache Spark コネクタ

Apache Spark コネクタは、Delta Sharing Server から共有テーブルを読み取るための Delta Sharing Protocol を実装します。SQL、Python、Java、Scala、Rで使用できます。

Apache Spark の構成

Delta Sharing コネクタを読み込むように Apache Spark を設定するには、次の 2 つの
方法：

• 対話形式で実行する: Delta Sharing コネクタを使用して Spark シェル (Scala または Python) を起動し、シェルでコード スニペットを対話形式で実行します。
• プロジェクトとして実行する: Delta Sharing コネクタを使用して Maven または SBT プロジェクト (Scala または Java) を設定し、コード スニペットをソース ファイルにコピーして、プロジェクトを実行します。

Databricks Runtime を使用している場合は、このセクションをスキップし、Databricks ライブラリのドキュメントに従ってクラスターにコネクタをインストールできます。

対話型シェルを設定する

Delta Sharing コネクタを Spark の Scala/Python シェル内で対話的に使用するには、次のようにシェルを起動します。

PySpark シェル

解除
pyspark --packages io.delta:delta-sharing-spark_2.12:3.1.0

Scala シェル

解除
bin/spark-shell --packages (ビン/スパークシェル --パッケージ)
io.delta:デルタ共有-spark_2.12:3.1.0

スタンドアロン プロジェクトを設定する

Maven Central Repository から Delta Sharing コネクタを使用して Java/Scala プロジェクトをビルドする場合は、次の Maven 座標を使用できます。