Rclone
Définitions
-
Stockage S3 https://www.leviia.com/blog/les-secrets-du-bucket-s3-tout-ce-que-vous-devez-savoir/
-
Rclone : Un outil en ligne de commande pour gérer les fichiers sur des services de stockage en cloud, y compris S3. Rclone permet de synchroniser, copier, déplacer, renommer, vérifier et monter des fichiers entre différents systèmes de stockage.
Installation de Rclone
Pour installer Rclone, vous pouvez suivre les instructions spécifiques à votre système d'exploitation sur le site officiel de rclone : https://rclone.org/install/.
Configuration de Rclone pour S3
Pour configurer rclone avec un service de stockage S3, vous devez créer une configuration pour le remote (le service de stockage distant). Lorsque vous exécutez cette commande, rclone vous guidera à travers un processus interactif pour configurer votre remote. Vous devrez fournir des informations telles que le nom du remote, le type de stockage (ici s3), et les informations d'authentification (clé d'accès et clé secrète).
Exemple de configuration S3
1) Lancez la configuration interactive :
2) Suivez les instructions pour créer un nouveau remote S3 :
n/s/q> n
name> mons3
Storage> s3
provider> aws
env_auth> false
access_key_id> YOUR_ACCESS_KEY_ID
secret_access_key> YOUR_SECRET_ACCESS_KEY
region> eu-west-3
endpoint>
location_constraint>
acl>
storage_class>
y/n> y
y/e/d> q
Configuration de rclone pour SFTP (avec clé privée SSH au format PEM)
1) Lancez la configuration interactive :
2) Suivez les instructions pour créer un nouveau remote SFTP :
n/s/q> n
name> mysftp
Storage> sftp
host> sftp.domaine.com
user> nom_utilisateur
port> 22 (ou personnalisé)
key_file>indiquez le chemin absolu de votre clé privée, par exemple : /home/votre_utilisateur/.ssh/id_rsa (Si votre clé est protégée par une passphrase, rclone vous demandera également celle-ci.)
y/n> y
y/e/d> q
Commandes utiles supplémentaires
Ces commandes et configurations vous permettront de gérer efficacement vos fichiers sur différents services de stockage en cloud avec Rclone.
Lister les répertoires ou buckets S3.
Nettoyer le remote (par exemple, vider la corbeille ou supprimer les anciennes versions de fichiers)
Lister les dossiers
Supprimer un répertoire
Supprimer le contenu d'un répertoire
Synchroniser un répertoire local avec un remote
Copier un fichier ou un répertoire vers un remote
Monter un remote comme un système de fichiers local
Télécharger le contenu d'un Google Drive
Il faut au préalable avoir configuré le remote Google Drive (ici "gdrive").
rclone copy gdrive: /backup/google-drive --drive-export-formats docx,xlsx,pptx --create-empty-src-dirs --transfers 8 --checkers 16 --progress --log-level INFO --log-file /var/log/rclone_gdrive.log
-
copy : télécharge sans jamais supprimer sur Google Drive.
-
drive-export-formats : convertit Docs/Sheets/Slides en formats bureautiques (docx,xlsx,pptx,odt,ods,odp,pdf...).
-
--create-empty-src-dirs : recrée aussi les dossiers vides en local.
-
--transfers / --checkers : parallélisme (à ajuster selon la bande passante/CPU).
-
--progress : barre/statistiques en direct.
-
--log-level / --log-file : journalise dans un fichier.