Le McKinsey Global Institute estime que l’application des méga données pourrait générer 100 milliards de dollars par an uniquement dans le système de santé américain; la maîtrise de l’information est désormais indispensable pour réussir dans ce domaine. Mais malgré la valeur de l’information pour tant d’entreprises du secteur biomédical, il y a eu une réticence à accepter la nécessité de stocker correctement ces données là où elles peuvent être utilisées.

Matillion, basé entre le double siège social de Denver et Manchester, a tranquillement développé une solution. Initialement, Matillion a cherché à développer des entrepôts de données cloud (CDW) qui pourraient fonctionner comme des référentiels pratiques pour des données précieuses. Mais dans les années qui ont suivi, l’entreprise a commencé à se concentrer davantage sur la façon de traiter ces données pour maximiser leur valeur. Son logiciel propriétaire, Matillion ETL et Data Loader, espère montrer que les entrepôts peuvent faire bien plus que fournir de l’espace à des entreprises de données débordées. Nous avons discuté avec Arawan Gajajiva, un architecte principal de solutions chez Matillion, pour en savoir plus.

À mesure que les données augmentent, leur gestion devient plus complexe. Les CDW réduisent cette complexité tout en préservant l’agilité et les performances. En plus de gérer de grandes quantités de données, les entreprises créent également des données dans plusieurs formats. Les CDW prennent en charge différents types et formats de structure de données.

Enfin, les CDW sont la meilleure option pour améliorer la reprise après sinistre. Les sauvegardes automatiques garantissent la continuité des activités. En cas de catastrophe, la capacité de traitement peut être augmentée pour tirer parti des données répliquées entre régions.

RM: Les données scientifiques sont souvent hétérogènes et complexes. Quels défis cela pose-t-il pour le logiciel Data Loader de Matillion?

AG: Des silos de données disparates existent dans toutes les entreprises, avec différentes données formatées de différentes manières à l’intérieur de différents systèmes. Matillion Data Loader prend en charge une variété de sources de données qui rassembleront les données dans un emplacement central et les unifieront dans un entrepôt de données cloud. Pour les cas d’utilisation plus complexes, un logiciel de transformation de données comme Matillion ETL peut réunir les données pour les rendre utilisables pour les rapports et les analyses.

RM: Comment Matillion «sape» les fournisseurs de pipeline de données?

AG: Le lancement de Matillion Data Loader change l’industrie dans la mesure où Matillion propose gratuitement un produit qui est un produit phare pour certains de ses concurrents. En offrant cet outil d’ingestion sans frais, Matillion démocratise les données pour les entreprises, les aidant à démarrer leur parcours de données. À mesure que la sophistication des besoins des entreprises augmente, Matillion est en mesure de les aider à évoluer vers une solution plus complète.

Les entreprises subissent un processus de maturation, de l’extrusion et du chargement des données afin de pouvoir les analyser jusqu’à leur transformation complète. Matillion les aide à comprendre à quoi cela ressemble de rassembler toutes leurs sources de données et de les soutenir à mesure qu’ils deviennent une organisation plus axée sur les données qui est en mesure d’obtenir beaucoup plus de leurs données.

RM: Comment le chargement des données dans les CDW affecte-t-il les processus d’analyse des données?

AG: Les entrepôts de données cloud sont un moyen puissant de gérer des volumes croissants de données, car ils permettent à une entreprise d’augmenter ou de réduire sa puissance de calcul, en fonction des besoins de l’entreprise. Pour les charges de travail de traitement des données qui étaient historiquement goulot d’étranglement sur les outils hérités, il existe désormais un moyen d’obtenir un temps de valorisation plus rapide lorsque vous utilisez des solutions spécialement conçues pour le cloud. Cela permet non seulement d’économiser du matériel et des frais généraux, mais donne également aux développeurs et aux équipes de données beaucoup plus de temps dans leur journée pour travailler sur d’autres projets critiques pour l’entreprise.

Ruairi Mackenzie (RM): Pourquoi les entreprises souhaitent-elles charger leurs données dans des entrepôts de données cloud?

Arawan Gajajiva (AG): Les entreprises utilisent des entrepôts de données cloud (CDW) pour plusieurs raisons. Premièrement, les CDW les aident à faire face à des volumes de données toujours croissants. Les entrepôts de données basés sur le cloud offrent flexibilité et évolutivité, ce qui permet à une entreprise d’augmenter de manière élastique le stockage et de calculer les ressources de manière indépendante à mesure que leurs besoins en données augmentent avec le temps. Dans une ancienne architecture d’entrepôt de données sur site, les entreprises doivent estimer leurs futurs besoins de calcul et de stockage et se procurer le matériel approprié pour répondre à ces besoins, même s’ils ne sont pas requis aujourd’hui. Au minimum, cela entraînerait une capacité inutilisée à court terme et si les besoins de l’entreprise changent (comme ils le font toujours), cela peut également entraîner un stockage insuffisant ou des ressources de calcul à l’avenir, ce qui se traduit par l’impossibilité de répondre aux besoins de l’entreprise ou investissement supplémentaire pour se procurer et installer des ressources supplémentaires.