Optimisation de power query
bonjour,
j'ai une dizaines de requêtes importer a partir de fichier txt = 50Mo que je fusionnes en une seul pour récupérer les données dans un seul tableau. Mai voila a chaque fois que je veux modifier la requête qui contiens toutes les fusion cela prend environs 4 minute et environs 1 minute pour les autres. Se qui devient infernal pour la manipulations sachant que je dois encore ajouté encore plusieurs autres données je me dis que le fichier va devenir inutilisable meme si celui ci fait que 300ko.
j'ouvre se sujet afin de trouver de l'aide pour connaitre les manipulations qui peuvent améliorer la fluidité de power query.
j'ai remarqué a chaque fois que je mais a jour la requête avec les fusion celle-ci va chercher toute les autres, peux ton pas dire a power query de ne pas aller chercher les données des autres requêtes durians la manipulations de celle-ci?
j'espère que j'ai été suffisamment claire dans mes explications, je suis ouvert a toutes propositions merci d'avance.
Bonjour
Si tous les fichier txt ont la même structure et sont rangés dans un même dossier, une requête suffit pour exploiter l'ensemble des txt et compiler les données
SI les requêtes dépendent les unes des autres il est normal qu'il déroule la chaîne du début à la fin.
Ils n’ont pas la même structure, se temps attente est donc normal ?? Je me demande si je charge chaque requête dans Excel et les assemble avec une rechercheV ça serai pas plus rapide ?? Mais s’est une méthode qui me déplaît. Le but de PQ il me semble est d’éviter ce genre de manipulation et améliorer la rapidité pour l’utilisation de grande base de données.
PQ est il vraiment fait pour lié des base de donner ?? Les Fusion entre data base est elle performante ?? Y a t’il des manipulation à éviter ?? J’adore s’est outil depuis que je les découvert mais je me demande si je l’utilise correctement. Ça me parais incroyable que cela prenne 4 minutes pour charger une requête.
RE
Sans plus d'info sur la structure des fichiers, sur la façon dont tu croise semble-t-il les données, sur la volumétrie, difficile de dire ce qui ne va pas...
Combien de structures différentes ?
Voici l'arborescence du fichier dans power query ci dessus. l'impression que tous viens de table a partir du classeur est fausse, je fait reference a une cellule qui renvois un chemin dynamique du dossier ou se trouve les data base.
PS: au passage un grand merci de m'avoir aidé sur cette autre sujet, comme tu peux le voir est bien utiliser. https://forum.excel-pratique.com/viewtopic.php?f=2&t=139920
ici les paramètre de la requête avec toute les fusions.
ici les volume des data base
RE
Les volumes ne sont pas neutres.
Tu n'as pas répondu sur le nombre de structures de fichier différentes...
Que veux tu dire par le nombre de structures, la première image ne représente pas le schéma des structures entre les table??
Si par structures tu veux dire nombre de colonne à chaque data base elles ont entre 4-20 que je retravaille dans chaque requête pour finir avec un Max de 4 colonne que je fusionne sur une seule requête selon clef référence unique.
Bonjour,
Il est peu être temps de joindre quelques txt et le xlsx avec la reqête..
Avec des données anonymisées, si nécessaire, et quelques lignes pour les txt.
Cdlt.
Pas facile, les données sont confidentielles je peux tristement pas les partager. Et simuler les donner avec d’autre ça va prendre une plombe. Je vais réfléchir comment je peux faire, la journée porte conseil🥱
[/
Peut-être une piste à mon problème
Voila Voila
Table.Buffer() j'ai mi cette fonction devant ma plus grande base de donner,
Exemple
= Table.Buffer(Table.ExpandTableColumn(#"Requêtes fusionnées7", "ZPPORDERLIST", {"WIP op", "Wipnextop", "WipRework", "WipAvor"}, {"WIP op", "Wipnextop", "WipRework", "WipAvor"}))
meme ci le premier chargement n'est pas plus rapide, après il n'y pas photo, le gains est vraiment là, casi plus aucune attente pour la selection des étapes dans la requête, pour faire une motif d'une étape le gains est plus faible mais reste visible.
j'ai aussi essayer de mettre toute mes étapes fusion en memoire tampon, mais la le changement n'a pa eu lieux, il semble qu'il faut bien choisir a qu'elle moment il faut introduire cette fonction.
pour conclure cela fonctionne mais cela semble pas general et il ne faut pas oublier que s'est une memoire tampon qui veux dire que l'étape ne s'actualise plus jusqu'à la prochaine ouverture du fichier.