Le CQDG s'affaire à mettre en place Espace de calcul infonuagique permettant aux chercheurs d'effectuer leurs analyses sans avoir à télécharger les fichiers.

Téléchargement des données moléculaires à l'aide de l'outil `ferload`

Le téléchargement des fichiers de données génomiques, une fois que l'accès a été obtenu, se fait à l'aide de l'outil de téléchargement ferload.

Aperçu

Le Client CLI Ferload est une interface en ligne de commande conçue pour le téléchargement de fichiers. Elle est compatible avec Windows, macOS et Linux et nécessite Java Runtime Environment (JRE) version 8 ou supérieure.

Prérequis

Vérification de Java

Avant l'installation, vérifiez votre version de Java :

java -version

Installation

Étapes

Visitez la page github du projet : https://github.com/Ferlab-Ste-Justine/ferload-client-cli .
Sélectionnez et téléchargez la dernière version ou une version spécifique.
Téléchargez le fichier ferload-client sous "Actifs". Confirmez si nécessaire.

Après le téléchargement

Pour macOS/Linux, rendez le fichier exécutable :

chmod +x ./ferload-client

Utilisation

Exécutez ferload-client sans arguments pour afficher les commandes disponibles :

macOS/Linux :
```
./ferload-client
```
Windows :

Utilisez la ligne de commande ou PowerShell :
```
C:\Users\user>ferload-client
```
Si vous rencontrez une erreur, renommez le fichier en ferload-client.bat.

Sortie attendue

Usage: ferload-client [-hV] [COMMAND]
Official Ferload Client command line interface for files download.
  -h, --help      Show this help message and exit.
  -V, --version   Print version information and exit.
Commands:
  configure   Help configure this tool.
  download   Download files based on provided manifest.

Configuration

L'outil doit obligatoirement être configuré avant de télécharger des fichiers.

Commande de configuration

./ferload-client configure

Suivez les instructions pour compléter la configuration.

URL ferload

Vous devez entrer l'URL de ferload, qui est https://ferload.cqdg.ca/. Appuyez sur 'Entrée' pour conserver la valeur par défaut.


user@localhost:~$ ./ferload-client configure
Welcome to Ferload Client! This command-line tool is designed to simplify
the process of downloading files by utilizing a provided manifest.

Ferload url                                        : https://ferload.cqdg.ca/

Retrieve Ferload configuration ✅

Extract authentication method ✅


Configuration has been successfully updated ✅

Téléchargement

Fichier ou identifiant de manifeste

Vous devez d'abord obtenir un fichier ou un identifiant de manifeste à partir du portail CQDG, dans l'onglet "Fichiers" de l'Explorateur. Assurez-vous d'avoir obtenu l'accès pour les fichiers que vous désirez télécharger (icône cadenas vert).

Le fichier de manifeste est en format .tsv et comprend plusieurs colonnes ainsi qu'une entête et une rangée correspondant à chaque fichier du manifeste. L'identifiant est simplement un code qui sera copié et collé dans la commande de téléchargement.

Commande de téléchargement

Utilisez la commande download pour effectuer le téléchargement. Utilisez les paramètres -m=<manifest> et -o=<outputDir> pour spécifier l'emplacement du fichier de manifeste ainsi que l'emplacement des fichiers qui seront téléchargés.

./ferload-client download -m ./data/m1.tsv -o ./data

Si il n'est pas pratique d'utiliser un fichier manifeste (par exemple, vous voulez télécharger dans un espace infonuagique accessible par ssh), utilisez plutôt un identifiant avec le paramètre -i=<identifiant>.

./ferload-client download -i copier-l-identifiant-ici -o ./data

Vous pouvez aussi télécharger le fichier manifeste lui-même via l'outil ferload avec le paramètre --manifest-only.

./ferload-client download -i copier-l-identifiant-ici --manifest-only -o ./data

Obtenir un token

Vous devez ensuite obtenir un token pour authentifier vos accès aux fichiers. Copiez le lien URL dans votre navigateur web et suivez les étapes d'authentification. Vous obtiendrez un token que vous devez collez sur la ligne de commande.

Exemple

user@localhost:~$ ./ferload-client download -m ./data/m1.tsv -o ./data

Welcome to Ferload Client, this tools will download
the files based on the provided manifest.

Checking manifest file                             ✅

Retrieve device token                              ✅

Copy/Paste this URL in your browser and login please: http://localhost:32771/realms/CQDG/device?user_code=NNLJ-AOOQ
 ✅ 

Retrieve Ferload download link(s)                  ✅

Compute total average expected download size       ✅

The total average expected download size will be 76 MB do you want to continue (your available disk space is: 60 GB) ? [yes]: yes

FIL0000001  [##################################################]     76 /     76 MB (100%) 📦
FIL0000002  [##################################################]     76 /     76 MB (100%) 📦

Total downloaded files: 12 located here: ./data

La progression sera affichée pour chaque fichier.

Exportation des tableaux dans l'explorateur de données ou de variants

Dans l'explorateur de données ou de variants, le contenu des tableaux de résultats peut être téléchargé en tout temps à l'aide du bouton "Exporter en TSV" situé en haut et à droite de la table :

Le choix des colonnes se fait à l'aide du bouton "Colonnes" à sa droite :

L'ensemble des données cliniques pour votre sélection peut être téléchargé en format .xlsx à partir du bouton "Données cliniques".

Téléchargement des données moléculaires à l'aide de l'outil ferload