`airflow.providers.microsoft.azure.hooks.data_factory`¶

拼寫例外。

模組內容¶

類別¶

`AzureDataFactoryPipelineRunStatus`	Azure Data Factory 管線操作狀態。
`AzureDataFactoryHook`	用於與 Azure Data Factory 互動的 Hook。
`AzureDataFactoryAsyncHook`	一個非同步 Hook，用於連線至 Azure DataFactory 以執行管線操作。

函式¶

`provide_targeted_factory`(func)	如果未指定目標 Factory，則將其提供給裝飾器函式。
`get_field`(extras, field_name[, strict])	從 extra 取得欄位，首先檢查簡短名稱，然後為了向後相容性，我們檢查帶前綴的名稱。
`provide_targeted_factory_async`(func)	如果未指定目標 Factory，則將其提供給非同步裝飾器函式。

屬性¶

`Credentials`
`AsyncCredentials`
`T`

airflow.providers.microsoft.azure.hooks.data_factory.Credentials[原始碼]¶

airflow.providers.microsoft.azure.hooks.data_factory.AsyncCredentials[原始碼]¶

airflow.providers.microsoft.azure.hooks.data_factory.T[原始碼]¶

airflow.providers.microsoft.azure.hooks.data_factory.provide_targeted_factory(func)[原始碼]¶

如果未指定 resource_group_name 或 factory_name，則預設為連線額外資訊中指定的值。

如果 resource_group_name 或 factory_name 未提供，則預設為連線額外資訊中指定的值。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryPipelineRunStatus[原始碼]¶

Azure Data Factory 管線操作狀態。

QUEUED = 'Queued'[原始碼]¶

IN_PROGRESS = 'InProgress'[原始碼]¶

SUCCEEDED = 'Succeeded'[原始碼]¶

FAILED = 'Failed'[原始碼]¶

CANCELING = 'Canceling'[原始碼]¶

CANCELLED = 'Cancelled'[原始碼]¶

TERMINAL_STATUSES[原始碼]¶

INTERMEDIATE_STATES[原始碼]¶

FAILURE_STATES[原始碼]¶

exception airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryPipelineRunException[原始碼]¶

基底: airflow.exceptions.AirflowException

表示管線執行未能完成的例外。

airflow.providers.microsoft.azure.hooks.data_factory.get_field(extras, field_name, strict=False)[原始碼]¶

從 extra 取得欄位，首先檢查簡短名稱，然後為了向後相容性，我們檢查帶前綴的名稱。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryHook(azure_data_factory_conn_id=default_conn_name)[原始碼]¶

基底: airflow.hooks.base.BaseHook

用於與 Azure Data Factory 互動的 Hook。

參數: azure_data_factory_conn_id (str) – Azure Data Factory 連線 ID。

conn_type: str = 'azure_data_factory'[原始碼]¶

conn_name_attr: str = 'azure_data_factory_conn_id'[原始碼]¶

default_conn_name: str = 'azure_data_factory_default'[原始碼]¶

hook_name: str = 'Azure Data Factory'[原始碼]¶

classmethod get_connection_form_widgets()[原始碼]¶

傳回要新增至連線表單的連線小工具。

classmethod get_ui_field_behaviour()[原始碼]¶

傳回自訂欄位行為。

get_conn()[原始碼]¶

傳回 Hook 的連線。

refresh_conn()[原始碼]¶

get_factory(resource_group_name, factory_name, **config)[原始碼]¶

取得 Factory。

參數

resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

傳回

Factory。

回傳類型

azure.mgmt.datafactory.models.Factory | None

update_factory(factory, resource_group_name, factory_name, if_match=None, **config)[原始碼]¶

更新 Factory。

參數

factory (azure.mgmt.datafactory.models.Factory) – Factory 資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
if_match (str | None) – Factory 實體的 ETag。應僅針對更新指定，應與現有實體相符，或者可以是 * 以進行無條件更新。預設值為 None。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果 Factory 不存在。

傳回

Factory。

回傳類型

azure.mgmt.datafactory.models.Factory

create_factory(factory, resource_group_name, factory_name, **config)[原始碼]¶

建立 Factory。

參數

factory (azure.mgmt.datafactory.models.Factory) – Factory 資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果 Factory 已存在。

傳回

Factory。

回傳類型

azure.mgmt.datafactory.models.Factory

delete_factory(resource_group_name, factory_name, **config)[原始碼]¶

刪除 Factory。

參數

resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

get_linked_service(linked_service_name, resource_group_name, factory_name, if_none_match=None, **config)[原始碼]¶

取得連結服務。

參數

linked_service_name (str) – 連結服務名稱。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
if_none_match (str | None) – 連結服務實體的 ETag。應僅針對取得指定。如果 ETag 與現有實體標籤相符，或如果提供了 *，則不會傳回任何內容。預設值為 None。
config (Any) – ADF 用戶端的額外參數。

傳回

連結服務。

回傳類型

azure.mgmt.datafactory.models.LinkedServiceResource | None

update_linked_service(linked_service_name, linked_service, resource_group_name, factory_name, **config)[原始碼]¶

更新連結服務。

參數

linked_service_name (str) – 連結服務名稱。
linked_service (azure.mgmt.datafactory.models.LinkedServiceResource) – 連結服務資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果連結服務不存在。

傳回

連結服務。

回傳類型

azure.mgmt.datafactory.models.LinkedServiceResource

create_linked_service(linked_service_name, linked_service, resource_group_name, factory_name, **config)[原始碼]¶

建立連結服務。

參數

linked_service_name (str) – 連結服務名稱。
linked_service (azure.mgmt.datafactory.models.LinkedServiceResource) – 連結服務資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果連結服務已存在。

傳回

連結服務。

回傳類型

azure.mgmt.datafactory.models.LinkedServiceResource

delete_linked_service(linked_service_name, resource_group_name, factory_name, **config)[原始碼]¶

刪除連結服務。

參數

linked_service_name (str) – 連結服務名稱。
resource_group_name (str) – 連結服務名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

get_dataset(dataset_name, resource_group_name, factory_name, **config)[原始碼]¶

取得資料集。

參數

dataset_name (str) – 資料集名稱。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

傳回

資料集。

回傳類型

azure.mgmt.datafactory.models.DatasetResource | None

update_dataset(dataset_name, dataset, resource_group_name, factory_name, **config)[原始碼]¶

更新資料集。

參數

dataset_name (str) – 資料集名稱。
dataset (azure.mgmt.datafactory.models.DatasetResource) – 資料集資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果資料集不存在。

傳回

資料集。

回傳類型

azure.mgmt.datafactory.models.DatasetResource

create_dataset(dataset_name, dataset, resource_group_name, factory_name, **config)[原始碼]¶

建立資料集。

參數

dataset_name (str) – 資料集名稱。
dataset (azure.mgmt.datafactory.models.DatasetResource) – 資料集資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果資料集已存在。

傳回

資料集。

回傳類型

azure.mgmt.datafactory.models.DatasetResource

delete_dataset(dataset_name, resource_group_name, factory_name, **config)[原始碼]¶

刪除資料集。

參數

dataset_name (str) – 資料集名稱。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

get_dataflow(dataflow_name, resource_group_name, factory_name, if_none_match=None, **config)[原始碼]¶

取得資料流程。

參數

dataflow_name (str) – 資料流程名稱。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
if_none_match (str | None) – 資料流程實體的 ETag。應僅針對取得指定。如果 ETag 與現有實體標籤相符，或如果提供了 *，則不會傳回任何內容。預設值為 None。
config (Any) – ADF 用戶端的額外參數。

傳回

DataFlowResource。

回傳類型

azure.mgmt.datafactory.models.DataFlowResource

update_dataflow(dataflow_name, dataflow, resource_group_name, factory_name, if_match=None, **config)[原始碼]¶

更新資料流程。

參數

dataflow_name (str) – 資料流程名稱。
dataflow (azure.mgmt.datafactory.models.DataFlowResource | IO) – 資料流程資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
if_match (str | None) – 資料流程實體的 ETag。應僅針對更新指定，應與現有實體相符，或者可以是 * 以進行無條件更新。預設值為 None。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果資料集不存在。

傳回

DataFlowResource。

回傳類型

azure.mgmt.datafactory.models.DataFlowResource

create_dataflow(dataflow_name, dataflow, resource_group_name, factory_name, if_match=None, **config)[原始碼]¶

建立資料流程。

參數

dataflow_name (str) – 資料流程名稱。
dataflow (azure.mgmt.datafactory.models.DataFlowResource) – 資料流程資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
if_match (str | None) – Factory 實體的 ETag。應僅針對更新指定，應與現有實體相符，或者可以是 * 以進行無條件更新。預設值為 None。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果資料集已存在。

傳回

資料集。

回傳類型

azure.mgmt.datafactory.models.DataFlowResource

delete_dataflow(dataflow_name, resource_group_name, factory_name, **config)[原始碼]¶

刪除資料流程。

參數

dataflow_name (str) – 資料流程名稱。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

get_pipeline(pipeline_name, resource_group_name, factory_name, **config)[原始碼]¶

取得管線。

參數

pipeline_name (str) – 管線名稱。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

傳回

管線。

回傳類型

azure.mgmt.datafactory.models.PipelineResource | None

update_pipeline(pipeline_name, pipeline, resource_group_name, factory_name, **config)[原始碼]¶

更新管線。

參數

pipeline_name (str) – 管線名稱。
pipeline (azure.mgmt.datafactory.models.PipelineResource) – 管線資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果管線不存在。

傳回

管線。

回傳類型

azure.mgmt.datafactory.models.PipelineResource

create_pipeline(pipeline_name, pipeline, resource_group_name, factory_name, **config)[source]¶

建立管線。

參數

pipeline_name (str) – 管線名稱。
pipeline (azure.mgmt.datafactory.models.PipelineResource) – 管線資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果管線已存在。

傳回

管線。

回傳類型

azure.mgmt.datafactory.models.PipelineResource

delete_pipeline(pipeline_name, resource_group_name, factory_name, **config)[source]¶

刪除管線。

參數

pipeline_name (str) – 管線名稱。
resource_group_name (str) – 管線名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

run_pipeline(pipeline_name, resource_group_name, factory_name, **config)[source]¶

執行管線。

參數

pipeline_name (str) – 管線名稱。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

傳回

管線執行。

回傳類型

azure.mgmt.datafactory.models.CreateRunResponse

get_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

取得管線執行。

參數

run_id (str) – 管線執行識別碼。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

傳回

管線執行。

回傳類型

azure.mgmt.datafactory.models.PipelineRun

get_pipeline_run_status(run_id, resource_group_name, factory_name)[source]¶

取得管線執行的目前狀態。

參數

run_id (str) – 管線執行識別碼。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。

傳回

管線執行的狀態。

回傳類型

str

wait_for_pipeline_run_status(run_id, expected_statuses, resource_group_name, factory_name, check_interval=60, timeout=60 * 60 * 24 * 7)[source]¶

等待管線執行符合預期狀態。

參數

run_id (str) – 管線執行識別碼。
expected_statuses (str | set[str]) – 要對管線執行的目前狀態檢查的期望狀態。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
check_interval (int) – 檢查管線執行狀態的時間間隔，以秒為單位。
timeout (int) – 等待管線達到終止狀態或預期狀態的逾時時間，以秒為單位。

傳回

布林值，指示管線執行是否已達到 expected_status。

回傳類型

bool

cancel_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

取消管線執行。

參數

run_id (str) – 管線執行識別碼。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

get_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

取得觸發器。

參數

trigger_name (str) – 觸發器名稱。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

傳回

觸發器。

回傳類型

azure.mgmt.datafactory.models.TriggerResource | None

update_trigger(trigger_name, trigger, resource_group_name, factory_name, if_match=None, **config)[source]¶

更新觸發器。

參數

trigger_name (str) – 觸發器名稱。
trigger (azure.mgmt.datafactory.models.TriggerResource) – 觸發器資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
if_match (str | None) – 觸發器實體的 ETag。應僅針對更新指定，並且應與現有實體相符，或可以為 * 以進行無條件更新。預設值為 None。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果觸發器不存在。

傳回

觸發器。

回傳類型

azure.mgmt.datafactory.models.TriggerResource

create_trigger(trigger_name, trigger, resource_group_name, factory_name, **config)[source]¶

建立觸發器。

參數

trigger_name (str) – 觸發器名稱。
trigger (azure.mgmt.datafactory.models.TriggerResource) – 觸發器資源定義。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

引發

AirflowException – 如果觸發器已存在。

傳回

觸發器。

回傳類型

azure.mgmt.datafactory.models.TriggerResource

delete_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

刪除觸發器。

參數

trigger_name (str) – 觸發器名稱。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

start_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

啟動觸發器。

參數

trigger_name (str) – 觸發器名稱。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

傳回

Azure 操作輪詢器。

回傳類型

azure.core.polling.LROPoller

stop_trigger(trigger_name, resource_group_name, factory_name, **config)[source]¶

停止觸發器。

參數

trigger_name (str) – 觸發器名稱。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

傳回

Azure 操作輪詢器。

回傳類型

azure.core.polling.LROPoller

rerun_trigger(trigger_name, run_id, resource_group_name, factory_name, **config)[source]¶

重新執行觸發器。

參數

trigger_name (str) – 觸發器名稱。
run_id (str) – 觸發器執行識別碼。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

cancel_trigger(trigger_name, run_id, resource_group_name, factory_name, **config)[source]¶

取消觸發器。

參數

trigger_name (str) – 觸發器名稱。
run_id (str) – 觸發器執行識別碼。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

test_connection()[source]¶

測試已設定的 Azure Data Factory 連線。

airflow.providers.microsoft.azure.hooks.data_factory.provide_targeted_factory_async(func)[source]¶

在未指定目標工廠的情況下，將目標工廠提供給非同步裝飾器函式。

如果 resource_group_name 或 factory_name 未提供，則預設為連線額外資訊中指定的值。

class airflow.providers.microsoft.azure.hooks.data_factory.AzureDataFactoryAsyncHook(azure_data_factory_conn_id=default_conn_name)[source]¶

基底類別： AzureDataFactoryHook

一個非同步 Hook，用於連線至 Azure DataFactory 以執行管線操作。

參數: azure_data_factory_conn_id (str) – Azure Data Factory 連線 ID。

default_conn_name: str = 'azure_data_factory_default'[source]¶

async get_async_conn()[source]¶

取得非同步連線並連線至 azure data factory。

async refresh_conn()[source]¶

async get_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

非同步連線至 Azure Data Factory，以依執行 ID 取得管線執行詳細資訊。

參數

run_id (str) – 管線執行識別碼。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

async get_adf_pipeline_run_status(run_id, resource_group_name, factory_name)[source]¶

非同步連線至 Azure Data Factory，並依 run_id 取得管線狀態。

參數

run_id (str) – 管線執行識別碼。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。

async cancel_pipeline_run(run_id, resource_group_name, factory_name, **config)[source]¶

取消管線執行。

參數

run_id (str) – 管線執行識別碼。
resource_group_name (str) – 資源群組名稱。
factory_name (str) – Factory 名稱。
config (Any) – ADF 用戶端的額外參數。

airflow.providers.microsoft.azure.hooks.data_factory¶

模組內容¶

類別¶

函式¶

屬性¶

`airflow.providers.microsoft.azure.hooks.data_factory`¶