Amazon S3 Glacier¶

Amazon Glacier 是一種安全、持久且極低成本的 Amazon S3 雲端儲存類別，適用於資料封存和長期備份。

先決條件任務¶

若要使用這些運算子，您必須執行一些操作

使用 AWS Console 或 AWS CLI 建立必要的資源。
透過 pip 安裝 API 程式庫。
pip install 'apache-airflow[amazon]'
詳細資訊請參閱 Airflow® 的安裝
設定連線.

通用參數¶

aws_conn_id

參考 Amazon Web Services 連線 ID。如果此參數設定為 None，則會使用預設的 boto3 行為，而不會查閱連線。否則，請使用儲存在連線中的憑證。預設值：aws_default

region_name

AWS 區域名稱。如果此參數設定為 None 或省略，則會使用 AWS 連線額外參數中的 region_name。否則，請使用指定的值，而非連線值。預設值：None

verify

是否驗證 SSL 憑證。

False - 請勿驗證 SSL 憑證。
path/to/cert/bundle.pem - 要使用的 CA 憑證套件的檔案名稱。如果您想要使用與 botocore 使用的 CA 憑證套件不同的套件，您可以指定此引數。

如果此參數設定為 None 或省略，則會使用 AWS 連線額外參數中的 verify。否則，請使用指定的值，而非連線值。預設值：None

botocore_config

提供的字典用於建構 botocore.config.Config。此組態可用於設定避免節流例外、逾時等。

範例，如需參數的更多詳細資訊，請參閱 botocore.config.Config¶

{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此參數設定為 None 或省略，則會使用 AWS 連線額外參數中的 config_kwargs。否則，請使用指定的值，而非連線值。預設值：None

注意

指定空字典 {} 將會覆寫 botocore.config.Config 的連線組態

運算子¶

建立 Amazon Glacier 任務¶

若要啟動 Amazon Glacier 清查檢索任務，請使用 GlacierCreateJobOperator

此運算子會傳回與已啟動任務相關的資訊字典，例如 jobId，這是後續任務所需的。

tests/system/amazon/aws/example_glacier_to_gcs.py

create_glacier_job = GlacierCreateJobOperator(task_id="create_glacier_job", vault_name=vault_name)
JOB_ID = '{{ task_instance.xcom_pull("create_glacier_job")["jobId"] }}'

將封存檔上傳到 Amazon Glacier¶

若要將封存檔新增至 Amazon S3 Glacier 保管庫，請使用 GlacierUploadArchiveOperator

tests/system/amazon/aws/example_glacier_to_gcs.py

upload_archive_to_glacier = GlacierUploadArchiveOperator(
    task_id="upload_data_to_glacier", vault_name=vault_name, body=b"Test Data"
)

感測器¶

等待 Amazon Glacier 任務狀態¶

若要等待 Amazon Glacier 任務的狀態達到終端狀態，請使用 GlacierJobOperationSensor

tests/system/amazon/aws/example_glacier_to_gcs.py

wait_for_operation_complete = GlacierJobOperationSensor(
    vault_name=vault_name,
    job_id=JOB_ID,
    task_id="wait_for_operation_complete",
)

參考資料¶

Amazon Glacier 的 AWS boto3 程式庫文件