メインコンテンツへスキップ
Procore

ファブリック ノートブックを使用した SQL Server へのエクスポート

  1. 最後の更新
  2. PDFとして保存

概要

Microsoft Fabric の Data Factory を Delta Sharing と共に使用すると、Procore アナリティクス 2.0 による分析ワークフローの一部として、共有 Delta テーブルのシームレスな統合と処理が可能になります。Delta Sharing は、安全なデータ共有のためのオープン プロトコルであり、データを複製することなく組織間のコラボレーションを可能にします。

このガイドでは、Delta Sharing を使用して Fabric で Data Factory を設定して使用し、ノートブックを使用してデータを処理してレイクハウスにエクスポートする手順について説明します。

前提条件

  • Procore アナリティクス 2.0 SKU
  • Delta Sharing 資格情報:
    • データ プロバイダーによって提供される Delta Sharing 資格情報へのアクセス。
    • 共有プロファイル ファイル (config.share)含有：
      • エンドポイント URL (Delta Sharing Server URL)。
      • アクセストークン(安全なデータアクセスのためのベアラートークン)。
  • 特定の認証情報を使用して config.yaml ファイルを作成します。
  • Microsoftファブリック環境:
    • アクティブなサブスクリプションを持つMicrosoft Fabricテナント アカウント。
    • ファブリック対応のワークスペース。
  • パッケージとスクリプト:
    • fabric-lakehouse パッケージをダウンロードします。ディレクトリには次のものが含まれている必要があります。
      • ds_to_lakehouse.py:ノートブック コード。
      • readme.md:指示。

ステップ

構成のセットアップ

  1. config.yaml を作成します ファイルを作成し、次の構造で構成を定義します
    source_config:
    config_path: path/to/your/delta-sharing-credentials-file.share
    tables: # オプション - すべてのテーブルを処理するには空のままにします
    - table_name1
    - table_name2
    target_config:
    lakehouse_path: path/to/your/fabric/lakehouse/tables/ # ファブリックのレイクハウスへのパス

レイクハウスをセットアップする

  1. Microsoft Fabric ワークスペースを開きます。
  2. Lakehouse に移動し、[ ノートブックを開く]、[ 新しいノートブック] の順にクリックします。
  3. config.yaml#lakehouse_pathの値がわからない場合は、画面からコピーできます。
  4. [ファイル] の省略記号をクリックし、[ABFS パスのコピー] を選択します。
    clipboard_e5dd266d8c6a622cceb30dd893a9106d7.png
    clipboard_e08827dbe6aeae6ac8f2bec7f5c758325.png
    clipboard_e390331535300f7f89fd0a91c9a3adebe.png

3. ds_to_lakehouse.py のコードをコピーしてノートブックウィンドウに貼り付けます(Pyspark Python)。

clipboard_e5b5d27813f9bebdfbe7dae73291cb3ae.png

次のステップは、独自のconfig.yamlとconfig.shareをLakehouseの Resources フォルダーにアップロードすることです。独自のディレクトリを作成するか、組み込み ディレクトリ( Lakehouseによってリソース用にすでに作成されています)を使用できます。


clipboard_eb5765c4bbf3ac93bd7c51ba6373f8049.png
clipboard_e86d913b62d37d237524537676680e4f3.png

以下の例は、 config.yaml ファイルの標準 の組み込み ディレクトリを示しています。
注: 両方のファイルを同じレベルにアップロードし、 プロパティ config_pathにアップロードしてください。

clipboard_e8ca378a5a0937b4b675d00adc2ec965f.png

4. ノートブックのコード、170 行目から 175 行目を確認します。
以下の例は、必要な行の変更を示しています。

config_path = "./env/config.yaml"

宛先

config_path = "./builtin/config.yaml"

ファイルはカスタム環境ではなく組み込みフォルダーにあるため、ファイルの独自の構造を必ず監視してください。別のフォルダーにアップロードすることもできますが、そのような場合は、ノートブックのコードを更新して config.yaml ファイルを正しく見つけてください。
 

clipboard_e44e5ad3be4a06929aba88716b0fdaa23.png

5. [セルの実行]をクリックします。


clipboard_e381c59ce2e4e9471efc0e9e4cc663b6d.png

検証

  • ジョブが完了したら、データがレイクハウスに正常にコピーされたことを確認します。
  • 指定したテーブルを確認し、データが共有 Delta テーブルと一致することを確認します。
  • ジョブが終了するまで待つと、すべてのデータがコピーされます。