{"id":346,"date":"2014-04-17T11:40:43","date_gmt":"2014-04-17T15:40:43","guid":{"rendered":"http:\/\/www.bioinfo.iric.ca\/?p=346"},"modified":"2017-04-29T17:24:31","modified_gmt":"2017-04-29T21:24:31","slug":"python-et-pandas","status":"publish","type":"post","link":"https:\/\/bioinfo.iric.ca\/fr\/python-et-pandas\/","title":{"rendered":"python et pandas"},"content":{"rendered":"

La r\u00e9putation de R n’est plus \u00e0 faire. C’est un language incontournable surtout pour la visualisation de donn\u00e9es. Mais il lui arrive d’\u00eatre un petit peu lent. Particuli\u00e8rement lors du traitement de gros ensembles de donn\u00e9es. Si vous n’avez pas besoin de g\u00e9n\u00e9rer de graphes sensationels ou que vous n’avez pas le temps d’attendre, il existe une alternative en python pour rapidement manipuler des donn\u00e9es.<\/p>\n

Le module pandas<\/a> (Python Data Analysis Library<\/em>) offre un moyen d’ais\u00e9ment manipuler des donn\u00e9es directement en python.<\/p>\n

J’ai r\u00e9cemment eu \u00e0 travailler avec un imposant fichier d’expressions g\u00e9niques (21024 genes x 3081 \u00e9chantillons) provenant de l’atlas TCGA (The Cancer Genome Atlas)<\/a>.
\nUne transformation log10 (1000* RPKM +1) avait \u00e9t\u00e9 appliqu\u00e9e aux RPKM de mon fichier et je voulais retrouver les valeurs de RPKM non transform\u00e9es (brutes). Comme j’\u00e9tais press\u00e9e, j’ai d\u00e9cid\u00e9 d’utiliser pandas au lieu de R. <\/p>\n

Pandas d\u00e9finit deux structures de donn\u00e9es principales : Serie<\/em> et Dataframe<\/em>. La Serie<\/em> se compare aux vecteurs de R tandis que le Dataframe<\/em> se compare (aucune surprise ici!) aux dataframes. Le module a plusieurs fonctions pour indexer et manipuler les structures de donn\u00e9es en plus de fournir des fonctions pour nous simplifier la vie. On peut, par exemple, cr\u00e9er un dataframe<\/em> directement \u00e0 partir d’un dictionnaire.<\/p>\n

J’ai \u00e9num\u00e9r\u00e9 quelques fonctions de base impl\u00e9ment\u00e9es dans pandas et leur \u00e9quivalent en R : <\/p>\n

\n\n\n\n\n\n\n\n\n\n\n\n\n
pandas<\/th>\n R<\/th>\n Description <\/th>\n<\/tr>\n<\/thead>\n
df.head() <\/code><\/td>\n head(df) <\/code><\/td>\n Afficher les premi\u00e8res lignes <\/td>\n<\/tr>\n
df.tail() <\/code><\/td>\n tail(df) <\/code><\/td>\n Afficher les derni\u00e8res lignes <\/td>\n<\/tr>\n
df.describe() <\/code><\/td>\n summary(df) <\/code><\/td>\n Afficher quelques statistiques <\/td>\n<\/tr>\n
df.shape() <\/code><\/td>\n dim(df) <\/code><\/td>\n Obtenir les dimensions <\/td>\n<\/tr>\n
df
[df['col']=='valueForRow'] <\/td>\n
 df[df$col=='valueForRow',]<\/code> <\/td>\n Extraire une rang\u00e9e donn\u00e9e <\/td>\n<\/tr>\n
df.ix[0:2,1] <\/td>\n df[0:2,1] <\/code><\/td>\n Obtenir un sous-ensemble des donn\u00e9es <\/td>\n<\/tr>\n
df.index <\/td>\n rownames(df) <\/code><\/td>\n Obtenir le nom des rang\u00e9es <\/td>\n<\/tr>\n
df.columns <\/td>\n colnames(df) <\/code><\/td>\n Obtenir le nom des colonnes <\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n

<\/div>\n

Pour mon probl\u00e8me de RPKM transform\u00e9s, voici ce que j'ai fait: <\/p>\n

\n
\r\nimport pandas as pd  \r\n\r\ndf = pd.read_csv('TCGA.txt', sep='\\t', dtype='object', header=0)\r\n\r\nraw = (10**df[range(1,len(df.columns))].astype('float64')-1)\/1000\r\n\r\nraw_col = raw.columns\r\nraw['Gene'] = df['Gene']\r\nraw = raw[['Gene'] + list(raw_col)]\r\n\r\nraw.to_csv('TCGA.raw.txt', sep='\\t')\r\n\r\n<\/code><\/pre>\n<\/div>\n
Sur mon ordinateur, 22.6 secondes ont \u00e9t\u00e9 n\u00e9cessaires pour lire les donn\u00e9es, 14.6 secondes pour la transformation et 45.1 secondes pour l'\u00e9criture du fichier r\u00e9sultant.<\/p>\n
Plus d'informations sont disponibles dans la  documentation de pandas <\/a>.  Amusez-vous bien !! 
<\/div><\/div><\/div><\/div><\/div><\/p>\n","protected":false},"excerpt":{"rendered":"
La r\u00e9putation de R n’est plus \u00e0 faire. C’est un language incontournable surtout pour la visualisation de donn\u00e9es. Mais il lui arrive d’\u00eatre un petit peu lent. Particuli\u00e8rement lors du traitement de gros ensembles de donn\u00e9es. Si vous n’avez pas besoin de g\u00e9n\u00e9rer de graphes sensationels ou que vous n’avez pas le temps d’attendre, il existe une alternative en python pour rapidement manipuler des donn\u00e9es. Le module pandas (Python Data Analysis Library) offre un moyen d’ais\u00e9ment manipuler des donn\u00e9es directement  […]<\/a><\/p>\n","protected":false},"author":3,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":false,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[69,26],"tags":[15,14],"class_list":["post-346","post","type-post","status-publish","format-standard","hentry","category-analyse-de-donnees","category-langage-python","tag-dataframe","tag-pandas"],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts\/346","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/comments?post=346"}],"version-history":[{"count":8,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts\/346\/revisions"}],"predecessor-version":[{"id":2758,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/posts\/346\/revisions\/2758"}],"wp:attachment":[{"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/media?parent=346"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/categories?post=346"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/bioinfo.iric.ca\/fr\/wp-json\/wp\/v2\/tags?post=346"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}