Du lourd (au sens propre oui)

Question

Je me permets de solliciter l'aide de la communauté pour le défi excel ci dessous : 47 Go 47k fichiers Un bourbier dira t on ! Même Goku hésiterait à y mettre le nez, et dieu sait qu'il le fourre partout. A noter que mes connaissances s'arrêtent actuellement au niveau d'un tableur croisé dynamique soit .. lambda. Pour faire simple chacun des fichiers possède des informations diverses mais avec des dénominateurs communs & des redondances. Le but étant de créer un fichier global ou/et plusieurs fichier, qui reprend l'ensemble des informations sans redondances. Pour illustrer le cas de figure : Prenons 4 fichiers qu'on va nommer Alpha, Beta, Gamma, Delta. Alpha contient des informations sur A, B, C, D, E avec les critères 1, 2, 3, 4, 5 Beta contient des informations sur D, E, F, G, H avec les critères 4, 5, 6, 7, 8 Gamma contient des informations sur G, H, I, A, B, avec les critères 1, 3, 9, 10 Delta contient des informations sur D, G, J, P, Q avec les critères 9, 10, 11, 12, 14 Quel est le meilleur moyen de fonctionner dans le but d'obtenir ce classeur consolidé ? Je suis ouvert à toute solution hors excel si nécessaire, type macro etc.. Merci par avance pour votre support, dieu vous bénisse, et lavez vous les mains, corona tout ca tout ca...

78chris · Answer

Commencer par nous indiquer ta version Excel et joindre au moins deux fichiers d'une dizaines de lignes représentatives...

h2so4 · Answer

2 fichiers = 2 classeurs excel et pas 2 photos...

78chris · Answer

+1 PowerQuery (intégré à partir de 2016, en add on sur 2013) permet de consolider mais 47 000 fichiers me parait beaucoup que ce soit pour PowerQuery ou pour VBA On peut tenter sur quelques fichiers représentatifs et, si le volume coince , il doit être possible de prévoir plusieurs étapes successives...

bouben · Answer

Les 47 000 fichiers proviennent d'où ? Ils sont peut-être issus d'un entrepôt de données (SQL Server, Teradata, ...) et générés automatiquement par des batchs d'extractions planifiés. A moins que 10 stagiaires à plein temps les saisissent manuellement Si la première hypothèse est retenue, le mieux est peut-être d'extraire directement la totalité des données depuis l'entrepôt source. Toutefois, Excel n'a pas vocation à gérer autant de données. Et cela aboutirait à reconstruire sous Excel, la base de données initiale. Peut-être faut-il se poser la question de ce qu'on veut faire de ces données. Probablement les reconsolider ensuite. On risque alors de rencontrer des soucis, tant de volumétrie que de performances. Pour ce type de problématique, sous réserve que l'hypothèse 1 soit vérifiée, les technologies appropriées sont des reportings ou cubes directement mis en place sur le SGBD source (par exemple avec Analyses Services, Reporting Services, B.O., ...). Cordialement Bouben...

78chris · Answer

Re Non un requêteur tel PowerQuery ne reconstruit pas la base, il l'exploite...

bouben · Answer

L'idée est bien de traiter les données de 47 000 fichiers ? Mon propos est de souligner que toutes ces données doivent être consolidées à un moment pour être analysées ensuite. PowerQuery (que je ne connais pas), devra probablement établir une connexion sur chacun des 47 000 fichiers, pour l'exploiter comme un entrepôt de données centralisé. Je me trompe ? Bouben...

78chris · Answer

Tu es bien en multipost puisque tu postes sur plusieurs forums... Exemple PowerQuery : chemin à changer puis Données, Actualiser tout Teste d'abord avec une vingtaine de fichiers puis ajoute ensuite d'autres...

78chris · Answer

Re Oui pour la connexion mais la requête ne charge pas les données consolidées. J'ai déjà traité des cas de gros CSV. Il y avait peu de fichiers mais un grand nombre de lignes dans chaque Donc à voir où est la limite... j'ignore si le nombre de connexions est limité.....