airflow.providers.papermill.hooks.kernel

模組內容

類別

KernelConnection

代表核心連線物件的類別。

KernelHook

KernelHook 可用於與遠端 Jupyter 核心互動。

RemoteKernelManager

Jupyter 核心管理器,連線至遠端核心。

RemoteKernelEngine

Papermill 引擎,使用 RemoteKernelManager 連線至遠端核心並執行筆記本。

函式

register_remote_kernel_engine()

註冊 RemoteKernelEngine papermill 引擎。

屬性

JUPYTER_KERNEL_SHELL_PORT

JUPYTER_KERNEL_IOPUB_PORT

JUPYTER_KERNEL_STDIN_PORT

JUPYTER_KERNEL_CONTROL_PORT

JUPYTER_KERNEL_HB_PORT

REMOTE_KERNEL_ENGINE

airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_SHELL_PORT = 60316[原始碼]
airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_IOPUB_PORT = 60317[原始碼]
airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_STDIN_PORT = 60318[原始碼]
airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_CONTROL_PORT = 60319[原始碼]
airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_HB_PORT = 60320[原始碼]
airflow.providers.papermill.hooks.kernel.REMOTE_KERNEL_ENGINE = 'remote_kernel_engine'[原始碼]
class airflow.providers.papermill.hooks.kernel.KernelConnection[原始碼]

代表核心連線物件的類別。

ip: str[原始碼]
shell_port: int[原始碼]
iopub_port: int[原始碼]
stdin_port: int[原始碼]
control_port: int[原始碼]
hb_port: int[原始碼]
session_key: str[原始碼]
class airflow.providers.papermill.hooks.kernel.KernelHook(kernel_conn_id=default_conn_name, *args, **kwargs)[原始碼]

基底類別: airflow.hooks.base.BaseHook

KernelHook 可用於與遠端 Jupyter 核心互動。

從連線取得核心主機/IP,並參照 Jupyter 核心埠和 session_key

來自 extra 欄位。

參數

kernel_conn_id (str) – 具有核心主機/IP 的連線

conn_name_attr = 'kernel_conn_id'[原始碼]
default_conn_name = 'jupyter_kernel_default'[原始碼]
conn_type = 'jupyter_kernel'[原始碼]
hook_name = 'Jupyter Kernel'[原始碼]
get_conn()[原始碼]

傳回 hook 的連線。

airflow.providers.papermill.hooks.kernel.register_remote_kernel_engine()[原始碼]

註冊 RemoteKernelEngine papermill 引擎。

class airflow.providers.papermill.hooks.kernel.RemoteKernelManager(*args, **kwargs)[原始碼]

基底類別: jupyter_client.AsyncKernelManager

Jupyter 核心管理器,連線至遠端核心。

property has_kernel: bool[原始碼]

是否有已啟動且我們正在主動管理的核心程序。

session_key[原始碼]
shutdown_kernel(now=False, restart=False)[原始碼]
client(**kwargs)[原始碼]

建立設定為連線至我們核心的用戶端。

class airflow.providers.papermill.hooks.kernel.RemoteKernelEngine[原始碼]

基底類別: papermill.engines.NBClientEngine

Papermill 引擎,使用 RemoteKernelManager 連線至遠端核心並執行筆記本。

classmethod execute_managed_notebook(nb_man, kernel_name, log_output=False, stdout_file=None, stderr_file=None, start_timeout=60, execution_timeout=None, **kwargs)[原始碼]

在本機執行參數化的筆記本的實際執行。

此條目是否有幫助?