Récupérer des données de plusieurs fichiers dans un dossier
Bonjour à tous !
J'ai trouvé pas mal de sujets qui pouvait s'assimiler à mon problème, mais j'ai une contrainte qui m'empêche d'adapter facilement les solutions déjà proposées.
De manière périodique, j'exporte des fichiers .csv d'une base de données.
Ces fichiers ont globalement la même mise en page, mais le nombre de colonnes (entête) change parfois.
Un exemple ci-joint.
Le problème est ici que l'entête n'est pas uniquement sur la première ligne.
Cela dépend donc des colonnes.
Les colonnes A à F ne changent jamais (toujours présentes), et les entêtes des ces colonnes seront toujours à la quatrième ligne.
Les entêtes des colonnes suivantes seront toujours sur les trois premières lignes, mais seule la ligne 1 ou 2 est nécessaire pour faire correspondre les champs.
J'aimerais donc pour aire un fichier maître, qui irait chercher l'ensemble des fichiers .csv dans un dossier spécifique (dossier Exportation par exemple), et qui fusionnerait les informations en faisant correspondre les colonnes (chaque ligne étant unique).
Il faudrait qu'on puisse ajouter des .csv dans le dossier Exportation de manière périodique, et que le fichier maître puisse se mettre à jour automatiquement (un beau bouton "Mettre à jour" dans le fichier maître par exemple).
Si on pouvait laisser les vieux fichiers dans le dossier sans que les données ne soient réimportées en duplicata à chaque mise à jour ce serait encore mieux, sinon, je les supprimerais après chaque fusion.
J'espère que j'ai été assez clair dans mes explications
Merci d'avance aux âmes charitables qui s'essaieront à m'aider !
A plus !
bonjour
ouvre ton fichier de destination
menu Données Obtenir "Dossier"
navigue vers ton dossier
c'est fini, ou presque
il va falloir nettoyer les lignes indésirables
tu es aidé par une interface très riche
avec les menus et les clics droits sur les en-têtes des colonnes, tu devrais t"en tirer
sur ce forum tu trouveras de l'aide pour les détails
essaye déjà un peu pour te faire la main
http://www.lecfomasque.com/power-query-combiner-plusieurs-fichiers-excel/
valable aussi pour les csv
(tuto ancien, le menu de ton Excel est un peu différent : menu Données Obtenir "Dossier"
note que ton fichier exemple est bien m...ique !
avec par ex des dates à un format inventé spécialement pour nous...
pire encore : pas de date !
la réf échantillon suffit-elle ?
note 2 : oui, on peut garder les vieux csv dans le dossier, on réimporte TOUT à chaque fois. En 1/10 secondes, des milliers de fichiers !
Bonjour à tous
Un essai à tester. Te convient-il ?
Ça, désolé mais je ne vois pas comment faire.Si on pouvait laisser les vieux fichiers dans le dossier sans que les données ne soient réimportées en duplicata à chaque mise à jour
Bye !
Bonjour,
@ jmd, : un exemple de résolution ?
Cdlt.
Hello !
@jmd
Alors, j'ai essayé avec Power Query.
Ça fonctionne plutôt bien, mais je dois quand même modifier manuellement chacun de mes fichiers, et lorsque j'ajoute par la suite un fichier avec des nouvelles colonnes et que j'actualise le tout, les nouvelles colonnes ne s'affichent pas.
@gmb
Ça fonctionne aussi plutôt bien, mais le hic est que lorsque j'ajoute des fichiers avec des colonnes différentes ou pas dans le même ordre, elles ne s'affichent pas. Cf exemple ci-joint.
Si je pouvais changer le format de sortie de mes fichiers de données ce serait plus facile ... Mais non ...
Merci beaucoup pour votre rapidité !!
Regarde bien :
- Exemple 3 : Param 11 s'est glissé entre le 2 et 3, et les valeurs associées ne sont pas correctement transférées dans le fichier maître.
- Exemple 2 : Param 13, pareil.
Hello !
@jmd
Alors, j'ai essayé avec Power Query.
Ça fonctionne plutôt bien, mais je dois quand même modifier manuellement chacun de mes fichiers, et lorsque j'ajoute par la suite un fichier avec des nouvelles colonnes et que j'actualise le tout, les nouvelles colonnes ne s'affichent pas.
@gmb
Ça fonctionne aussi plutôt bien, mais le hic est que lorsque j'ajoute des fichiers avec des colonnes différentes ou pas dans le même ordre, elles ne s'affichent pas. Cf exemple ci-joint.
Si je pouvais changer le format de sortie de mes fichiers de données ce serait plus facile ... Mais non ...
Merci beaucoup pour votre rapidité !!
re à vos
dans le zip il y a des fichiers, mais je ne comprends pas quelles données récupérer ???
il y a date, date2 et patin et couffin
sois plus clair
colonne ExempleA dans colonne Maitre Z etc.
merci
@gmb
A mon avis tu n'utilises pas les bons fichiers.
Dans le zip que j'ai joint, j'ai modifié les trois fichiers exemples avec d'autres valeurs.
Apparemment, le script doit lire le nombre de colonnes mais sans distinguer les entêtes (Param 1, 2, 3, etc.)
Du coup, si on importe un nouveau fichier avec un nouveau paramètre, et que le premier fichier importé ne l'avait pas, et bien tout se décale.
C'est vraiment ce genre de situations que je rencontre, mais ça semble compliquer la tâche...
Sinon, je vais modifier tous les fichiers à la main et passer par Power BI, mais du coup l'objectif d'automatiser la tâche sera vaine ^^
Merci encore !!
re à tous
nan !
Power Query se paramètre au début, puis il suffit de cliquer "Actualiser"
et en principe, on peut lui expliquer que les colonnes ont changé de place, et il s'adaptera seull à chaque Actualiser
re à tous
nan !
Power Query se paramètre au début, puis il suffit de cliquer "Actualiser"
et en principe, on peut lui expliquer que les colonnes ont changé de place, et il s'adaptera seull à chaque Actualiser
Oui mais je n'ai pas trouvé comment lui dire que les entêtes ne sont pas toutes sur la même ligne :/
Un petit up, avec l'espoir que quelqu'un aura une solution miracle
re
joins 3 fichiers que tu veux concaténer. Veille à prendre des fichiers représentatifs de ton souci.
on va voir pour te faire la requête
pour une solution, je demande 48 h
pour un miracle, il me faut 7 jours
Bonjour,
Une question : Quel le nombre maxi que tu peux avoir en paramètres ?
Cdlt.
re
pour info, du moment où les titres des colonnes sont identiques (leur place ou leur présence/absence importe peu) pas de souci pour des milliers de fichiers
Power Query va les digérer
mais s'il y a un coup
Param 9
et un coup
Paramètre 9
ça va swinguer
on veut des fichiers !
Bonjour !
@jmd !!
Voilà des fichiers !!!
Les titres sont toujours identiques lorsque présents !
(et pour 14 jour ? j'ai le Saint-Graal ? hahaha !!)
@Jean-Eric
Il peut y avoir 10,50,150,250 colonnes...
Etant des test physiques/chimiques, si le patron en veut des nouveaux, il va y en avoir... combien, telle est la question x)
Merci beaucoup !!
re
j'ai ça
il y a pas mal de données, un peu éparpillées
mais on peut remettre de l'ordre
que veux-tu voir comme résultat(s) ?
Alors, en fait là tu as la compilation des données comme j'ai réussi à le faire.
Mais il s'agit juste d'un assemblage des fichiers les uns à la suite des autres...
Le traitement des données est donc encore plus compliqué.
Les entêtes ne correspondent pas. Par exemple dans la colonne 10 on a "pH 2 jours2, puis plus bas "Tamis 50 mesh (g)", etc...
Il faudrait que les entêtes de colonnes soient sur la même lignes.
En gros, il faudrait que PowerBI prennent l'ensemble des fichiers, recense toutes les entêtes différentes, puis crée un fichier avec toutes les entêtes existantes (sans doublons), puis y associe les données de chacun des échantillons.
Merci pour tout !