airflow.providers.microsoft.azure.transfers.s3_to_wasb¶
模組內容¶
類別¶
用於將資料從 AWS S3 儲存桶移動到 Microsoft Azure Blob 儲存體的運算子。 |
- exception airflow.providers.microsoft.azure.transfers.s3_to_wasb.TooManyFilesToMoveException(number_of_files)[原始碼]¶
基底類別:
Exception當嘗試將多個檔案從 S3 移動到單個 Azure Blob 時，拋出的自訂例外。
- exception airflow.providers.microsoft.azure.transfers.s3_to_wasb.InvalidAzureBlobParameters[原始碼]¶
基底類別:
Exception當沒有將 blob_prefix 或 blob_name 傳遞給運算子時，引發的自訂例外。
- exception airflow.providers.microsoft.azure.transfers.s3_to_wasb.InvalidKeyComponents[原始碼]¶
基底類別:
Exception當沒有為 _create_key 提供 full_path 或 file_name + prefix 時，引發的自訂例外。
- class airflow.providers.microsoft.azure.transfers.s3_to_wasb.S3ToAzureBlobStorageOperator(*, aws_conn_id='aws_default', wasb_conn_id='wasb_default', s3_bucket, container_name, s3_prefix=None, s3_key=None, blob_prefix=None, blob_name=None, create_container=False, replace=False, s3_verify=False, s3_extra_args=None, wasb_extra_args=None, **kwargs)[原始碼]¶
基底類別:
airflow.models.BaseOperator用於將資料從 AWS S3 儲存桶移動到 Microsoft Azure Blob 儲存體的運算子。
存在一個類似的類別，用於將資料從 Microsoft Azure Blob 儲存體移動到 AWS S3 儲存桶，並且位於 airflow/providers/amazon/aws/transfers/azure_blob_to_s3.py 檔案中
可以提供明確的 S3 金鑰，或包含要傳輸到 Azure Blob 儲存體的檔案的前綴。Blob 名稱也是如此；可以傳遞明確的名稱，也可以為要儲存的檔案提供 Blob 前綴
- 參數
aws_conn_id (str) – 要使用的 AWS S3 連線 ID。
wasb_conn_id (str) – 要使用的 Azure Blob 儲存體連線 ID。
s3_bucket (str) – 物件 (或多個物件) 將從中傳輸的 AWS S3 儲存桶的名稱。(可使用 Jinja 模板)
container_name (str) – 物件 (或多個物件) 將傳輸到的 Azure 儲存體 Blob 容器的名稱。(可使用 Jinja 模板)
s3_prefix (str | None) – 過濾任何以此外綴開頭的 S3 物件的前綴字串。(可使用 Jinja 模板)
s3_key (str | None) – 要傳輸的明確 S3 金鑰 (物件)。(可使用 Jinja 模板)
blob_prefix (str | None) – 將在 Azure 儲存體 Blob 容器中為要移動的物件 (或多個物件) 提供路徑的前綴字串。(可使用 Jinja 模板)
blob_name (str | None) – 物件將傳輸到的明確 Blob 名稱。這僅適用於移動單個檔案的情況。如果 S3 儲存桶中有多個檔案要移動到單個 Azure Blob，則會引發例外。(可使用 Jinja 模板)
create_container (bool) – 如果容器尚不存在，是否應建立容器，否則為 False。
replace (bool) – 如果容器中存在 Blob 且 replace 的值為 true，則將覆寫它。如果 replace 為 False 且容器中存在 Blob，則不會覆寫該檔案。
s3_verify (bool) –
是否驗證 S3 連線的 SSL 憑證。預設情況下，會驗證 SSL 憑證。您可以提供以下值
False: 不驗證 SSL 憑證。仍然會使用 SSL(除非 use_ssl 為 False)，但不會驗證 SSL 憑證。
path/to/cert/bundle.pem: 要使用的 CA 憑證套件的檔案名稱。如果您想使用與 botocore 使用的不同的 CA 憑證套件，您可以指定此引數。
s3_extra_args (dict | None) – 要傳遞給 S3Hook 的 kwargs。
wasb_extra_args (dict | None) – 要傳遞給 WasbHook 的 kwargs。
- template_fields: collections.abc.Sequence[str] = ('s3_bucket', 'container_name', 's3_prefix', 's3_key', 'blob_prefix', 'blob_name')[原始碼]¶