{"id":2569,"date":"2016-10-12T20:29:47","date_gmt":"2016-10-13T00:29:47","guid":{"rendered":"http:\/\/bioinfo.iric.ca\/fr\/?p=2569"},"modified":"2017-04-29T17:02:01","modified_gmt":"2017-04-29T21:02:01","slug":"transferts-reseau-rapides","status":"publish","type":"post","link":"https:\/\/bioinfo.iric.ca\/fr\/transferts-reseau-rapides\/","title":{"rendered":"Transferts r\u00e9seau rapides?"},"content":{"rendered":"

R\u00e9cemment, tout le monde s’est mis \u00e0 utiliser diff\u00e9rents outils dans le but d’optimiser de gros transferts de donn\u00e9es de, vers et entre super-ordinateurs. Historiquement, nous avons vu des outils tels que FDT<\/a>, BBCP<\/a> qui essayaient de surpasser la performance obtenue par les autres m\u00e9thodes de transfert classique, comme scp, rsync, ftp, etc. Un outil en particulier est en train de gagner en popularit\u00e9 et est d\u00e9ploy\u00e9 sur la plupart des super-ordinateurs : GridFTP<\/a> et son interface, Globus<\/a>.<\/p>\n

\"The

L’interface usager de Globus.<\/p><\/div>\n

Avant de sauter dans le train \u00e0 pieds joints, j’ai pens\u00e9 qu’il serait bien d’avoir une id\u00e9e de ce que ce service peut apporter de plus. Les buts principaux de Globus sont de rendre le transfert de donn\u00e9es plus rapide sur un r\u00e9seau \u00e0 grande bande passante et de simplifier le partage de donn\u00e9es entre les utilisateurs.<\/p>\n

Vitesse<\/h3>\n

En faisant cette recherche, j’ai lu plusieurs commentaires mentionnant que l’utilisation de scp \u00e9tait mauvaise et que l’on pouvait observer une augmentation de 25x de la vitesse de transfert en utilisant plut\u00f4t GridFTP. J’ai \u00e9t\u00e9 un peu surpris qu’une m\u00e9thode de transfert aussi vieille et respect\u00e9e que scp \u00e9choue aussi lamentablement.<\/p>\n

Apr\u00e8s avoir d\u00e9ploy\u00e9 et configur\u00e9 Globus, ce qui implique toutes sortes de param\u00e9trages techniques, j’\u00e9tais pr\u00eat \u00e0 effectuer une comparaison simple. En passant, aux dires de personnes moins port\u00e9es sur l’informatique (typiquement nos collaborateurs biologistes), ce processus est encore trop complexe pour \u00eatre utile. J’ai effectu\u00e9 deux s\u00e9ries de test, le premier entre notre institut et un super-ordinateur local \u00e0 travers un lien 1Gbps et le deuxi\u00e8me, entre deux super-ordinateurs de Montr\u00e9al connect\u00e9s par un lien 10 Gbps sur le r\u00e9seau du RISQ (si je ne me trompe pas). Voici les r\u00e9sultats que j’ai obtenus :<\/p>\n\n\n\n\n\n\n
Source<\/td>\nDestination<\/td>\nLien<\/td>\nTaille du transfert<\/td>\nscp<\/td>\nGridFTP<\/td>\n<\/tr>\n
Station de travail<\/td>\nbriaree<\/td>\n1 Gbps ethernet<\/td>\n14 GB<\/td>\n105 MB\/s<\/span><\/td>\n89 MB\/s<\/span><\/td>\n<\/tr>\n
briaree<\/td>\nguillimin<\/td>\n10 Gbps ethernet<\/td>\n14 GB<\/td>\n152 MB\/s<\/span><\/td>\n149 MB\/s<\/span><\/td>\n<\/tr>\n
briaree<\/td>\nguillimin<\/td>\n10 Gbps ethernet<\/td>\n129 GB<\/td>\nNA<\/td>\n159 MB\/s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Donc, comme scp atteint presque la limite th\u00e9orique d’un lien 1Gbps (125MB\/s), il n’y a pas beaucoup de place \u00e0 l’am\u00e9lioration en partant et, comme on peut voir, les transferts initi\u00e9s par Globus sont m\u00eame plus lents.<\/p>\n

Peut-\u00eatre que ces r\u00e9sultats sont reli\u00e9s \u00e0 notre configuration actuelle et que l’on verrait de bien meilleurs r\u00e9sultats sur des r\u00e9seaux plus rapides (utilisant Inifiband par exemple), mais la vitesse n’est d\u00e9finitivement pas une raison de d\u00e9sinstaller scp d\u00e8s maintenant, pas encore.<\/p>\n

Partage de donn\u00e9es<\/h3>\n

Globus a pour but de fournir une fa\u00e7on \u00ab\u00a0simple\u00a0\u00bb pour g\u00e9rer les transferts et le partage de donn\u00e9es entre collaborateurs. Dans ce contexte, il performe relativement bien, en pr\u00e9sentant \u00e0 l’usager une interface simple pour initier des transferts entre serveurs. Un peu comme ce que l’on retrouve avec un outil comme Filezilla \u00e0 l’exception que les deux points de terminaison (endpoint<\/em>) du transfert peuvent tous deux \u00eatre des serveurs distants qui vont communiquer directement.<\/p>\n

Globus permet aussi de facilement partager un r\u00e9pertoire (endpoint<\/em>) avec un autre utilisateur en offrant des fonctionnalit\u00e9s de partage similaires \u00e0 celles offertes sur les sites de services d’entreposage de donn\u00e9es comme Dropbox, Google Drive, Owncloud, etc.
\nLa diff\u00e9rence principale ici est que Globus n’entrepose aucune donn\u00e9e; il agit seulement comme un interm\u00e9diaire entre deux points. Et ce mod\u00e8le soul\u00e8ve une grande pr\u00e9occupation concernant la confidentialit\u00e9 des donn\u00e9es. Pour faire tout ce travail, Globus requiert que vous fournissiez les identifiants (cl\u00e9s d’encryption) requis pour acc\u00e9der aux deux points de partage (deux serveurs par exemple). Il op\u00e8re sur ces serveurs comme s’il \u00e9tait vous. Vous devez alors faire confiance \u00e0 cette entit\u00e9 ext\u00e9rieure, en esp\u00e9rant qu’elle fasse la bonne chose avec vos acc\u00e8s.
\n\u00c9videmment, les gens chez Globus utilisent toute sorte de jargon rassurant<\/a> pour promouvoir leur service, mais cela ne change pas le fait qu’une tierce partie peut maintenant lire n’importe quelles donn\u00e9es de votre compte usager.<\/p>\n

Donc, non merci. Il existe s\u00fbrement un cas o\u00f9 cela a beaucoup de sens d’utiliser Globus (pour des transferts WAN peut fiable peut-\u00eatre), mais pour l’instant, je vais plut\u00f4t me contenter de continuer \u00e0 utiliser le tr\u00e8s respectable scp.

<\/div><\/div><\/div><\/div><\/div>\n","protected":false},"excerpt":{"rendered":"

R\u00e9cemment, tout le monde s’est mis \u00e0 utiliser diff\u00e9rents outils dans le but d’optimiser de gros transferts de donn\u00e9es de, vers et entre super-ordinateurs. Historiquement, nous avons vu des outils tels que FDT, BBCP qui essayaient de surpasser la performance obtenue par les autres m\u00e9thodes de transfert classique, comme scp, rsync, ftp, etc. Un outil en particulier est en train de gagner en popularit\u00e9 et est d\u00e9ploy\u00e9 sur la plupart des super-ordinateurs : GridFTP et son interface, Globus.<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[88,32],"tags":[140,101],"class_list":["post-2569","post","type-post","status-publish","format-standard","hentry","category-informatique","category-performance-fr-2","tag-manipulation-de-fichiers","tag-test"],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts\/2569","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/comments?post=2569"}],"version-history":[{"count":8,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts\/2569\/revisions"}],"predecessor-version":[{"id":2697,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts\/2569\/revisions\/2697"}],"wp:attachment":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/media?parent=2569"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/categories?post=2569"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/tags?post=2569"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}