Mégadonnées

Mégadonnées, gros défi – partie 2

Cet article est la suite de mon précédent article sur les mégadonnées. Il n'a pas engendré de discussion virtuelle enflammée sur le sujet, mais j'étais très heureuse de recevoir quelques commentaires sur la situation dans d'autres domaines de la bio-informatique. Protéomique Mathieu Courcelles, bio-informaticien à la plate-forme de protéomique, explique que la protéomique utilisant la spectrométrie de masse a toujours généré des "mégadonnées". Donc, l'expression n'est pas très utilisée dans le domaine puisqu'elle n'a rien de nouveau. Comme il le [...]

By |2017-08-18T13:24:37-05:0018 août 2017|Categories: Analyse de données|Tags: , |1 commentaire

Mégadonnées, gros défi

Vous avez certainement déjà entendu le mot mégadonnées. Ou "Big Data". Notamment, si vous avez lu l'article de Simon Mathien sur le site de l'IRIC. (Si vous ne l'avez pas lu, je vous encourage à le lire!) Il existe plusieurs définitions (ou interprétations) du mot mégadonnées qui sont bien résumées par les deux définitions suivantes : Data of a very large size, typically to the extent that its manipulation and management present significant logistical challenges; (also) the branch of computing [...]

Manipuler de gros fichiers

À la plateforme, je fais régulièrement des analyses de données de séquençage de nouvelle génération (Next Generation Sequencing ou NGS). L'une des questions qui revient fréquemment chez mes clients est : comment ouvrir les fichiers de séquences générés? Considérant l'énorme taille de ces fichiers (souvent plusieurs millions de lignes) et, par conséquent, l'espace qu'ils requièrent en mémoire, ils ne devraient pas être ouverts d'une quelconque façon, ils devraient plutôt être processés. La plupart des programmes conçus pour traiter les données [...]

By |2017-04-30T12:51:58-05:001 octobre 2015|Categories: Analyse de données, Scripts|Tags: , |1 commentaire