Mégadonnées, gros défi

Vous avez certainement déjà entendu le mot mégadonnées. Ou "Big Data". Notamment, si vous avez lu l'article de Simon Mathien sur le site de l'IRIC. (Si vous ne l'avez pas lu, je vous encourage à le lire!) Il existe plusieurs définitions (ou interprétations) du mot mégadonnées qui sont bien résumées par les deux définitions suivantes : Data of a very large size, typically to the extent that its manipulation and management present significant logistical challenges; (also) the branch of computing [...]

Manipuler de gros fichiers

À la plateforme, je fais régulièrement des analyses de données de séquençage de nouvelle génération (Next Generation Sequencing ou NGS). L'une des questions qui revient fréquemment chez mes clients est : comment ouvrir les fichiers de séquences générés? Considérant l'énorme taille de ces fichiers (souvent plusieurs millions de lignes) et, par conséquent, l'espace qu'ils requièrent en mémoire, ils ne devraient pas être ouverts d'une quelconque façon, ils devraient plutôt être processés. La plupart des programmes conçus pour traiter les données [...]

Go to Top