Stockage - Historique des versions

Justine le 22 juin 2022 à 11:49

2022-06-22T11:49:24Z

← Version précédente		Version du 22 juin 2022 à 11:49
Ligne 1 :		Ligne 1 :
			[[Category:linux]]
			[[Category:stockage]]
	= À propos de ces notes... =		= À propos de ces notes... =

Justine : /* Détails d'iSCSI */

2020-11-04T10:29:24Z

Détails d'iSCSI

← Version précédente		Version du 4 novembre 2020 à 10:29
Ligne 661 :		Ligne 661 :

	SCSI signifie Small Computer System Interface, qui est la façon dont un système interagit avec un stockage. iSCSI est la même chose en réseau, ce qui permet de voir le stockage comme un disque local. Dans un lien iSCSI, on a deux composants:		SCSI signifie Small Computer System Interface, qui est la façon dont un système interagit avec un stockage. iSCSI est la même chose en réseau, ce qui permet de voir le stockage comme un disque local. Dans un lien iSCSI, on a deux composants:
	* L'initiator, qui est la partie ~~matérielle ou~~ logicielle sur le client qui va échanger des donner avec le stockage.		* L'initiator, qui est la partie logicielle (comportant un pilote) sur le client qui va échanger des donner avec le stockage.
	* La target, le server qui stocke les données.		* La target, le server qui stocke les données. Chaque target est identifié par un nom unique appellé IQN. Une target peut être un composant matériel qui possède des disques durs, ou un convertisseur vers FC, etc.

	Il s'agit donc d'un transport en mode bloc entre target et initiator, sur une connexion TCP/IP. Quand il reçoit les paquets, l'initiator sépare les blocs que le paquet TCP contient et les présente à l'OS comme un stockage normal. Ses perfs sont quasi-similaire à Fibre Channel.		Il s'agit donc d'un transport en mode bloc entre target et initiator, sur une connexion TCP/IP. Quand il reçoit les paquets, l'initiator sépare les blocs que le paquet TCP contient et les présente à l'OS comme un stockage normal. Ses perfs sont quasi-similaire à Fibre Channel, mais contrairement à FC, on a pas besoin d'infra-structure dédiée.

			L'initiator utilise en général deux interfaces réseau par souci de redondance. On peut avoir alors plusieurs types :
			* De l'aggrégat, ou LACP (Link Aggregation Control Protocol). LACP, comme quand on l'utilise sur un switch, permet d'agréger les interfaces entre elles pour en faire une seule "grosse". En réalité, LACP et le NIC teaming n'améliore pas le throughput sur un flux unique : chaque flux unique prendra toujours le même chemin et la même interface. LACP est utile quand on a plusieurs flux venant de plusieurs sources. Plus on aura de flux uniques, plus ajouter des NICs améliorera le throughput. Mais LACP en soi ne fait qu'améliorer la redondance.
			* Du multipath, ou MPIO (pour MultiPath I/O). MPIO fait la même chose, mais peut être actif/passif ou actif/actif. Il permet d'utiliser plusieurs NICs pour envoyer et recevoir des I/O vers / depuis un server lui aussi en MPIO. MPIO améliore le throughput.


			[[Fichier:Iscsi layers.png\|sans_cadre]]

	= Mise en place d'un cluster de stockage en réseau GlusterFS =		= Mise en place d'un cluster de stockage en réseau GlusterFS =

Justine : /* Détails d'iSCSI */

2020-11-04T10:08:42Z

Détails d'iSCSI

← Version précédente		Version du 4 novembre 2020 à 10:08
Ligne 657 :		Ligne 657 :

	On peut quand même aboutir à une architecture performante avec des switches en 10 gigas et des fonctions de DCB.		On peut quand même aboutir à une architecture performante avec des switches en 10 gigas et des fonctions de DCB.

			=== Plus clairement ===

			SCSI signifie Small Computer System Interface, qui est la façon dont un système interagit avec un stockage. iSCSI est la même chose en réseau, ce qui permet de voir le stockage comme un disque local. Dans un lien iSCSI, on a deux composants:
			* L'initiator, qui est la partie matérielle ou logicielle sur le client qui va échanger des donner avec le stockage.
			* La target, le server qui stocke les données.

			Il s'agit donc d'un transport en mode bloc entre target et initiator, sur une connexion TCP/IP. Quand il reçoit les paquets, l'initiator sépare les blocs que le paquet TCP contient et les présente à l'OS comme un stockage normal. Ses perfs sont quasi-similaire à Fibre Channel.

	= Mise en place d'un cluster de stockage en réseau GlusterFS =		= Mise en place d'un cluster de stockage en réseau GlusterFS =

Justine le 20 septembre 2019 à 10:17

2019-09-20T10:17:50Z

← Version précédente		Version du 20 septembre 2019 à 10:17
Ligne 1 347 :		Ligne 1 347 :
	\| Peut être installé rapidement et facilement		\| Peut être installé rapidement et facilement
	\|}		\|}

			= Taille de secteur, taille de bloc =

			Il faut distinguer les deux notions.

			== Secteur ==
			Le secteur est la plus petite unité physique de stockage sur un disque dur. Sa capacité est au minimum de 512 octets sur un disque dur ou une disquette, 2048 octets pour un disque optique.

			La plupart des systèmes d'exploitation regroupent les secteurs dans leur système de fichiers en unités logiques de stockage appelées unité d'allocation sous Windows (et *NIX, semble-t'il). Le nombre de secteurs par bloc varie en fonction de la taille de la partition ou du médium, de 2 pour une disquette (FAT12) à 128 (64 ko) pour les plus grandes partitions ext4, NTFS.

			== Bloc ==
			https://fr.wikipedia.org/wiki/Bloc_(disque_dur)
			Le bloc (ou en anglais cluster) est la plus petite unité logique de stockage d'un système de fichiers (utilisé sur une partition d'un disque dur) d'un système informatique. Le choix de la taille de bloc est effectué lors du formatage du disque, et influe sur les performances et sur la capacité utile du disque.

			Il y'a un compromis à trouver pour la taille de bloc, puisque c'est la plus petite unité de données qui sera transmise : le ratio est donc entre taille de bloc et quantité d'I/O. En effet:
			* Si j'ai un fichier de 1 ko et des blocs de 4 ko, je perd trois ko.
			* Si j'ai des fichiers de 100 ko répartis sur 100 bloc de 1 ko, j'ai 100 I/O !

			=== Consulter la taille de bloc ===
			Linux :
			blockdev --getbsz /dev/vdb1
			Windows (cmd):
			fsutil fsinfo sectorInfo C:

Justine le 16 avril 2019 à 16:58

2019-04-16T16:58:44Z

← Version précédente		Version du 16 avril 2019 à 16:58
Ligne 555 :		Ligne 555 :

	Son but est d'avoir un accès transparent pour les applications et les utilisateurs. Il permet une gestion uniforme du contrôle d'accès au fichiers et répertoires, ainsi qu'un système de nommage cohérent entre les fichiers, qu'ils soient locaux ou sur le réseau. De plus, les performances d'accès doivent être uniformes grâce au cache.		Son but est d'avoir un accès transparent pour les applications et les utilisateurs. Il permet une gestion uniforme du contrôle d'accès au fichiers et répertoires, ainsi qu'un système de nommage cohérent entre les fichiers, qu'ils soient locaux ou sur le réseau. De plus, les performances d'accès doivent être uniformes grâce au cache.


	== Définition NAS ==		== Définition NAS ==

	NAS signifie "Network Attached Storage". Il utilise différents FS : NFS chez Linux, SMB chez Microsoft. Il a l'avantage d'acceuillir beaucoup de clients, de coûter peu cher par unité de stockage, et de permettre diverses choses : tiering (positionner les données là ou c'est le mieux pour elles), caching, de-duplication. Il permet aussi la réplication et le multi-tenancy (servir plusieurs clients à partir d'une seule installation). Son incovénient est que sa Qualité de Service dépend du réseau.		NAS signifie "Network Attached Storage". Il utilise différents FS : NFS chez Linux, SMB chez Microsoft. Il a l'avantage d'acceuillir beaucoup de clients, de coûter peu cher par unité de stockage, et de permettre diverses choses : tiering (positionner les données là ou c'est le mieux pour elles), caching, de-duplication. Il permet aussi la réplication et le multi-tenancy (servir plusieurs clients à partir d'une seule installation). Son incovénient est que sa Qualité de Service dépend du réseau.
			<blockquote>
			Redéfinition du tiering : On fait des tiers (penser aux jeux vidéo : top tier, god tier, etc) des données en fonction de leur utilisation. Les plus utilisées seront dans le top tier, les moins utilisées dans le dernier tier. Ensuite, elles sont positionnées selon leur tier : le top tier aura des SSD ultra rapides, le dernier tier aura des disques à plateuax très lents... Les données sont hiérarcisée selon leur utilisation et les supports de stockage selon leur coût.

			Les différents tiers permettent aussi d'avoir plusieurs niveaux de protection, selon la confidentialité des données.
			</blockquote>
	=== NFS (Network File System) ===		=== NFS (Network File System) ===

			Tuto NFS :

			https://linux.developpez.com/formation_debian/nfs.html

	NFS fonctionne simplement avec le système de montage sous Linux : des dossiers situés sur un NAS quelque part dans le réseau sont montés sur des dossiers locaux, ce qui permet d'y accéder de façon transparente. Je peux avoir mon dossier ~ situé sur un NAS, et le monter dans /home afin d'y accéder comme si de rien n'était.		NFS fonctionne simplement avec le système de montage sous Linux : des dossiers situés sur un NAS quelque part dans le réseau sont montés sur des dossiers locaux, ce qui permet d'y accéder de façon transparente. Je peux avoir mon dossier ~ situé sur un NAS, et le monter dans /home afin d'y accéder comme si de rien n'était.

Justine le 13 mars 2019 à 13:12

2019-03-13T13:12:14Z

← Version précédente		Version du 13 mars 2019 à 13:12
Ligne 161 :		Ligne 161 :

	Le cache est important : la baie embarque beaucoup de cache, les différences sont lissées mais elles existent. SATA suffit dans beaucoup de cas.		Le cache est important : la baie embarque beaucoup de cache, les différences sont lissées mais elles existent. SATA suffit dans beaucoup de cas.

			=== Modes : bloc, objet, fichier ===

			On distingue plusieurs façons d'accéder au contenu d'un stockage.

			*Mode fichier : Basé sur les fichiers, selon l'arborescence de l'OS. C'est le plus classique.
			*Mode bloc : Les données sont rassemblées en mode bloc, qui sont vues comme des élements séparés. Chaque bloc contient des données brutes et se voit attribuer un numéro. Généralement utilisé dans les SAN.
			*Mode Objet : " Le stockage en mode objet est une structure plate dans laquelle les fichiers sont décomposés en éléments et répartis sur du matériel. Avec le stockage en mode objet, les données sont décomposées en petites unités distinctes appelées objets et sont conservées dans un référentiel unique, au lieu d'être conservées sous forme de fichiers dans des dossiers ou sous forme de blocs sur des serveurs. " (source : https://www.redhat.com/fr/topics/data-storage/file-block-object-storage)

	= Mise en place d'un serveur de sauvegardes =		= Mise en place d'un serveur de sauvegardes =

Justine le 17 février 2019 à 17:29

2019-02-17T17:29:05Z

@@ Ligne 2 : / Ligne 2 : @@
 = À propos de ces notes... =
-Ces notes sont issues de mon wiki personnel : https://innertech.ovh/mediawiki/
+Ces notes sont issues de mon wiki personnel&nbsp;: [https://innertech.ovh/mediawiki/ https://innertech.ovh/mediawiki/]
 Le format adopté est "tout sur la même page", dans l'optique de garder un sommaire du wiki simple et calqué sur la Licence professionnelle. Il va de soi que dans un contexte professionnel, ces notes seraient divisées en plusieurs pages.
@@ Ligne 1 268 : / Ligne 1 268 : @@
 &nbsp;
 == Tests ==
@@ Ligne 1 290 : / Ligne 1 291 : @@
 **On peut aussi avoir des infos sur la page dédiée au client
-[[File:Sélection 071.png]]
+[[File:Sélection 071.png|RTENOTITLE]]
 == Sauvegarde d'un client Windows (via SMB et non plus NFS): ==
@@ Ligne 1 306 : / Ligne 1 307 : @@
 <pdf>Fichier:FreeNAS.pdf</pdf>

Justine le 13 janvier 2019 à 01:42

2019-01-13T01:42:09Z

← Version précédente		Version du 13 janvier 2019 à 01:42
Ligne 1 267 :		Ligne 1 267 :




	== Tests ==		== Tests ==
Ligne 1 285 :		Ligne 1 286 :
	*"Select a host" ===> Choisir le client		*"Select a host" ===> Choisir le client
	*"Start full backup"  ===> Il répond toujours OK, même quand c'est pas OK		*"Start full backup"  ===> Il répond toujours OK, même quand c'est pas OK
	*Il faut aller voir dans les logs (Menu de gauche => "LOG File"		*Il faut aller voir dans les logs (Menu de gauche => "LOG File")
	*En cas de backup réussie, la ligne "Finished full backup on 10.0.2.8" doit apparaître		*En cas de backup réussie, la ligne "Finished full backup on 10.0.2.8" doit apparaître
	**On peut aussi avoir des infos sur la page dédiée au client		**On peut aussi avoir des infos sur la page dédiée au client

			[[File:Sélection 071.png]]

	== Sauvegarde d'un client Windows (via SMB et non plus NFS): ==		== Sauvegarde d'un client Windows (via SMB et non plus NFS): ==

Justine le 13 janvier 2019 à 01:39

2019-01-13T01:39:38Z

← Version précédente		Version du 13 janvier 2019 à 01:39
Ligne 1 288 :		Ligne 1 288 :
	*En cas de backup réussie, la ligne "Finished full backup on 10.0.2.8" doit apparaître		*En cas de backup réussie, la ligne "Finished full backup on 10.0.2.8" doit apparaître
	**On peut aussi avoir des infos sur la page dédiée au client		**On peut aussi avoir des infos sur la page dédiée au client


	== Sauvegarde d'un client Windows (via SMB et non plus NFS): ==		== Sauvegarde d'un client Windows (via SMB et non plus NFS): ==

	Je n'ai pas de client Windows pour tester, mais la config ~~données~~ est la suivante :		Je n'ai pas de client Windows pour tester, mais la config donnée est la suivante :
	<pre>#/etc/backuppc/windows.pl		<pre>#/etc/backuppc/windows.pl
	$Conf{SmbShareName} = 'nomdupartagesmb';		$Conf{SmbShareName} = 'nomdupartagesmb';

Justine le 10 janvier 2019 à 22:52

2019-01-10T22:52:05Z

← Version précédente		Version du 10 janvier 2019 à 22:52
Ligne 1 :		Ligne 1 :

			= À propos de ces notes... =

			Ces notes sont issues de mon wiki personnel : https://innertech.ovh/mediawiki/

			Le format adopté est "tout sur la même page", dans l'optique de garder un sommaire du wiki simple et calqué sur la Licence professionnelle. Il va de soi que dans un contexte professionnel, ces notes seraient divisées en plusieurs pages.

	= Stockage local =		= Stockage local =

Stockage - Historique des versions

Justine le 22 juin 2022 à 11:49

Justine : /* Détails d'iSCSI */

Justine : /* Détails d'iSCSI */

Justine le 20 septembre 2019 à 10:17

Justine le 16 avril 2019 à 16:58

Justine le 13 mars 2019 à 13:12

Justine le 17 février 2019 à 17:29

Justine le 13 janvier 2019 à 01:42

Justine le 13 janvier 2019 à 01:39

Justine le 10 janvier 2019 à 22:52

Justine : /* Détails d'iSCSI */

Justine : /* Détails d'iSCSI */