Local - Accédez à vos données localement

class manta_light.local.Local(host: str | None = None, port: int | None = None, swarm_id: PairId | None = None, task_id: PairId | None = None)

Service local pour accéder aux données locales en toute sécurité

Le service Local permet à l’utilisateur d’obtenir des données locales.

Les paramètres ne doivent pas être remplis manuellement. Ils sont gérés pendant le déploiement de la tâche par le Node.

Paramètres:

• host (Optional[str]) – Adresse du Manager

• port (Optional[int]) – Port du Manager

• swarm_id (Optional[PairId]) – Swarm ID

• task_id (Optional[PairId]) – ID de la tâche

get_numpy_data(dataset_name: str) → bytes

Obtenir les données numpy

Paramètres:

dataset_name (str) – Le nom de l’ensemble de données à obtenir

Renvoie:

Les données numpy

Type renvoyé:

bytes

Exemples

À l’intérieur d’une classe Task, vous pouvez accéder aux données locales en utilisant l’attribut self.local automatiquement créé par Task :

>>> mnist_data = self.local.get_numpy_data("mnist.npz")
>>> data = np.load(mnist_data)

get_binary_data(dataset_name: str) → BytesIO

Obtenir les données binaires

Paramètres:

dataset_name (str) – Le nom de l’ensemble de données à obtenir

Renvoie:

Les données binaires

Type renvoyé:

io.BytesIO

Exemples

À l’intérieur d’une classe Task, vous pouvez accéder aux données locales en utilisant l’attribut self.local automatiquement créé par Task :

>>> mnist_data = self.local.get_binary_data("mnist.npz")
>>> data = np.load(mnist_data)

list_directories(directory: str) → List[str]

Liste les répertoires

Paramètres:

directory (str) – Nom du répertoire

Renvoie:

Liste des répertoires

Type renvoyé:

List[str]

read_file_lines(file_name: str) → List[str]

Lit les lignes du fichier

Paramètres:

file_name (str) – Nom du fichier

Renvoie:

Liste de lignes

Type renvoyé:

List[str]

async async_get_numpy_data(dataset_name: str) → BytesIO

Obtenir des données Numpy

Paramètres:

dataset_name (str) – Nom du dataset

Renvoie:

Données binaires

Type renvoyé:

io.BytesIO

Exemples

Identique à select, mais asynchrone :

>>> mnist_data = await self.local.async_get_numpy_data("mnist.npz")
>>> data = np.load(mnist_data)

async async_get_binary_data(dataset_name: str) → BytesIO

Obtenir des données binaires de manière asynchrone

Paramètres:

dataset_name (str) – Nom du dataset

Renvoie:

Données binaires

Type renvoyé:

io.BytesIO

Exemples

Identique à select, mais asynchrone :

>>> mnist_data = await self.local.async_get_binary_data("mnist.npz")
>>> data = np.load(mnist_data)

async async_list_directories(directory: str) → List[str]

Liste les répertoires

Paramètres:

directory (str) – Nom du répertoire

Renvoie:

Liste des répertoires

Type renvoyé:

List[str]

async async_read_file_lines(file_name: str) → List[str]

Lit les lignes du fichier

Paramètres:

file_name (str) – Nom du fichier

Renvoie:

Liste de lignes

Type renvoyé:

List[str]