{"id":1337,"date":"2015-07-12T12:02:18","date_gmt":"2015-07-12T16:02:18","guid":{"rendered":"http:\/\/bioinfo.iric.ca\/?p=1337"},"modified":"2017-04-12T12:00:21","modified_gmt":"2017-04-12T16:00:21","slug":"faites-travailler-vos-cpus","status":"publish","type":"post","link":"https:\/\/bioinfo.iric.ca\/fr\/faites-travailler-vos-cpus\/","title":{"rendered":"Faites travailler vos CPUs !"},"content":{"rendered":"

Si vous \u00eates comme moi, vous avez s\u00fbrement r\u00e9alis\u00e9 que, par d\u00e9faut, les scripts python que l’on \u00e9crit n’utilisent qu’une portion de la puissance computationnelle \u00e0 notre disposition.. Vous vous \u00eates s\u00fbrement dit:<\/p>\n

\n

J’ai pourtant pay\u00e9 une somme rondelette pour un CPU \u00e0 4 coeurs<\/b> ! Mais qu’est-ce qui se passe ?<\/p>\n<\/blockquote>\n

Bien que la plupart des CPUs modernes comportent plusieurs coeurs, le code que l’on \u00e9crit doit aussi \u00eatre formatt\u00e9 ad\u00e9quatement afin d’en tirer pleinement avantage.<\/p>\n

Alors explorons ensemble le module multiprocessing<\/a> de Python afin de d\u00e9couvrir comment faire rouler notre code sur plus d’un coeur \u00e0 la fois.<\/p>\n

C’est en fait assez simple si notre code est d\u00e9j\u00e0 bien segment\u00e9 en fonctions (comme il devrait l’\u00eatre…).
\nL’exemple que je mettrai en place utilisera un ensemble de processus travailleurs qui consumeront une liste de t\u00e2ches contenue dans une queue.<\/p>\n

Commen\u00e7ons par d\u00e9finir une fonction qui calcule un hypoth\u00e9tique potentiel th\u00e9rapeutique entre 2 individus :<\/p>\n

def simulate_treatment(param1, param2):\r\n    donor = Individual(param1, param2)\r\n    patient = Individual(param1, param2)\r\n\r\n    heals = 0\r\n    nb_therapeutic_targets = 0\r\n    if donor.can_heal(patient):\r\n        heals = 1\r\n        nb_therapeutic_targets = len(donor.targets(patient))\r\n\r\n    return heals, nb_therapeutic_targets\r\n<\/code>\r\n<\/pre>\n
Il nous manque \u00e9videmment la d\u00e9finition de la classe \u00ab\u00a0Individual\u00a0\u00bb mais elle n’est pas vraiment n\u00e9cessaire pour comprendre ce qui se passe ici.
\nSi nous voulions rouler 1 million d’it\u00e9rations de cette simulation, nous pourrrions faire la chose suivante:<\/p>\n
def main():\r\n    for i in range(1000000):\r\n        heals, nb_therapeutic_minors = simulate_treatment(param1, param2)\r\n        # do some stuff with the results\r\n<\/code>\r\n<\/pre>\n
Et ceci ex\u00e9cuterait 1 million d’iterations de la fonction \u00ab\u00a0simulate_treatment\u00a0\u00bb de mani\u00e8re s\u00e9quentielle<\/b> sur un seul coeur. Bouououo…
\nModifions donc notre main() un peu afin de r\u00e9partir notre million d’it\u00e9rations sur 4 coeurs:<\/p>\n
import multiprocessing\r\n\r\ndef main():\r\n    p = Pool(processes=4)\r\n    tasks = [(param1, param2) for i in range(1000000)]\r\n    simulations = p.map_async(simulate_treatment, tasks)\r\n    p.close()\r\n    p.join()\r\n    for sim in simulations.get():\r\n        heals = sim[0]\r\n        nb_therapeutic_minors = sim[1]\r\n        # do some stuff with the results\r\n<\/code>\r\n<\/pre>\n
Plusieurs choses se produisent alors:<\/p>\n
p = Pool(processes=4)<\/code><\/pre>\n
initialise un \u00ab\u00a0pool\u00a0\u00bb de 4 processus travailleurs qui grignoteront la liste de t\u00e2ches de simulation instanti\u00e9e par:<\/p>\n
tasks = [(param1, param2) for i in range(1000000)]<\/code><\/pre>\n
la liste est ensuite soumise au Pool, les processus rouleront de fa\u00e7on asynchrone et les r\u00e9sultats seront cumul\u00e9s dans un nouvel iterable portant le nom appropri\u00e9 de \u00ab\u00a0simulations\u00a0\u00bb.<\/p>\n
simulations = p.map_async(simulate_treatment, tasks)<\/code><\/pre>\n
Nous fermons ensuite le Pool afin d’\u00e9viter la soumission de nouvelles t\u00e2ches et patientons jusqu’\u00e0 la compl\u00e9tion des t\u00e2ches de la queue \u00e0 l’aide des commandes:<\/p>\n
p.close()\r\np.join()\r\n<\/code>\r\n<\/pre>\n
Plut\u00f4t simple, non ?<\/p>\n
\n
Mais JP, tu as soumis un tuple de params \u00e0 une fonction pr\u00e9sentant une signature qui requiert 2 param\u00e8tres distincts.. \u00c7a va pas ?<\/p>\n<\/blockquote>\n
Hehe, c’est bien, je vois que vous \u00eates attentifs ! En fait, ce code est incorrect et plantera si vous tentez de le rouler.
\nAlors laissez-moi sugg\u00e9rer un dernier addendum.
\nSi vous \u00eates comme moi, vous appr\u00e9ciez les belles fonctions bien d\u00e9finies avec des signatures claires. Malheureusement, map_async n’accepte qu’un iterable en entr\u00e9e.. Ma suggestion est donc la suivante: utilisons une fonction \u00ab\u00a0enveloppe\u00a0\u00bb afin de r\u00e9cup\u00e9rer le tuple de param\u00e8tres soumis \u00e0 la queue et l’expandre afin de la passer \u00e0 notre vraie fonction:<\/p>\n
def simulate_treatment_wrapper(args):\r\n    return simulate_treatment(*args)\r\n<\/code>\r\n<\/pre>\n
Une fois que tout est en place<\/h2>\n<\/div>
Ce bout de code:<\/p>\n
\r\n\r\n\r\n\r\n\r\ndef simulate_treatment(param1, param2):\r\n    donor = Individual(param1, param2)\r\n    patient = Individual(param1, param2)\r\n\r\n    heals = 0\r\n    nb_therapeutic_targets = 0\r\n    if donor.can_heal(patient):\r\n        heals = 1\r\n        nb_therapeutic_targets = len(donor.targets(patient))\r\n\r\n    return heals, nb_therapeutic_targets\r\n\r\ndef main():\r\n    for i in range(1000000):\r\n        heals, nb_therapeutic_minors = simulate_treatment(param1, param2)\r\n        # do some stuff with the results\r\n<\/code>\r\n<\/pre>\n<\/div>
<\/div><\/div><\/div>
Devient:<\/p>\n
import multiprocessing\r\n\r\ndef simulate_treatment_wrapper(args):\r\n    return simulate_treatment(*args)\r\n\r\ndef simulate_treatment(param1, param2):\r\n    donor = Individual(param1, param2)\r\n    patient = Individual(param1, param2)\r\n\r\n    heals = 0\r\n    nb_therapeutic_targets = 0\r\n    if donor.can_heal(patient):\r\n        heals = 1\r\n        nb_therapeutic_targets = len(donor.targets(patient))\r\n\r\n    return heals, nb_therapeutic_targets\r\n\r\ndef main():\r\n    p = Pool(processes=4)\r\n    tasks = [(param1, param2) for i in range(1000000)]\r\n    simulations = p.map_async(simulate_treatment_wrapper, tasks)\r\n    p.close()\r\n    p.join()\r\n    for sim in simulations.get():\r\n        heals = sim[0]\r\n        nb_therapeutic_minors = sim[1]\r\n        # do some stuff with the results\r\n<\/code>\r\n<\/pre>\n<\/div>
<\/div><\/div><\/div><\/div>
Comme vous pouvez le voir, nous n’avons pas fait de changements trop importants et pourtant, notre code roule maintenant en parall\u00e8le sur 4 coeurs physiques !
\nBienvenue… \ud83d\ude42<\/p>\n<\/div>
<\/div><\/div><\/div><\/div><\/div>\n","protected":false},"excerpt":{"rendered":"","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[32,26],"tags":[66],"class_list":["post-1337","post","type-post","status-publish","format-standard","hentry","category-performance-fr-2","category-langage-python","tag-multiprocessing-fr"],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts\/1337","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/comments?post=1337"}],"version-history":[{"count":10,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts\/1337\/revisions"}],"predecessor-version":[{"id":3177,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts\/1337\/revisions\/3177"}],"wp:attachment":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/media?parent=1337"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/categories?post=1337"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/tags?post=1337"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}