Power Bi/Query : Historisation des données
Bonjour,
Dans la réalisation des tableaux de bords de performance de mon service on me demande de conserver un historique des données. Or la mise à jour est hebdomadaire : j'extrais mes fichiers sources d'une semaine à l'autre donc mes tables dans power query ne présentent que les données du fichier en cours. L'objectif pour moi serait d'avoir un moyen de conserver les données du fichier généré précédemment et de mettre en évidence la semaine et l'année.
De plus mes semaines sont en réalité un peu en décalé puisque que j'extrais la période [Lundi 5h semaine N ; Lundi 5h semaine N+1[
Je vous remercie par avance.
J'ai modifié ma demande
Hello,
Pour moi je garderai un exemplaire de chacune de tes extractions dans le dossier ou ton BI va chercher, et je ferai un traitement supplémentaire dans la partie PowerQuery qui va aller récupérer la date de création des fichiers.
Tu vois ce que je veux dire ?
@+
Salut BAROUTE,
Merci pour ta réponse, en effet je comprends ce que tu veux dire toutefois :
- Cela ne risque-t-il pas de rallonger le temps de mise à jour bien que Power Bi soit puissant ?
- Étant donné que dans un premier temps ce seront des personnes qui seront chargées de l'extraction et non un script, je crains qu'une semaine soit oubliée puis extraite la semaine suivante. Ainsi si on se base sur la date de création du fichier dans ce cas elle pourrait nuire à la méthode. J'avais peut être pensé à renommer mes fichiers extraits (Y23_W36 "year_week") par exemple et me baser sur le nom (c'est juste une idée ébauche)
Qu'en penses-tu ?
J'essaye de prendre un maximum de précautions pour m'éviter au plus possible de la maintenance corrective
Hello,
Tes questions sont complètement légitimes et en effet le facteur humain joue un rôle important. Ce que je décrivais c’était une idée dans un monde idéal
1 - En fonction des traitements qui sont faits dans le PowerQuery on peut optimiser la vitesse d’exécution de la requête + si on met en place un scheduler qui se déclenche à un certains moment dans journée ça actualisera les données en « arrière plan » donc quand on récupérera le PowerBi le modèle sera à jour.
2 - Soit on programme une extraction hebdomadaire depuis ton ERP directement, soit on passe par un système de nommage des fichiers qui devront respecter un format bien particulier avec la date dedans par exemple.
Dis moi ce que tu en penses
@+
Edit : ça dépend de la volumétrie présente dans chaque extraction aussi car si tu veux deux ans d’historique ça va être chaud si t’as des extractions d’un million de lignes
Merci pour ta réactivité
Ce que je décrivais c’était une idée dans un monde idéal
Cela peut être une excellente solution tout de même, il faudra dans ce cas que j'assure une rigueur auprès des personnes concernées et que je trouve un moyen pour résoudre "cet oubli d'extraction".
1 - Oui en effet j'avais entendu parler "scheduler" mais je connais pas du tout ça semble être super.
2 - J'aurais bien aimé programmer une extraction hebdomadaire mais toutes mes tables ne proviennent pas de l'ERP (SAP), la majorité provient de notre logiciel de production DELMIA APRISO (dassault systems). Et je ne l'ai pas trouvé dans la liste des sources donc je ne sais pas si c'est quand même faisable.
Pour ce qui est de la volumétrie de mes fichiers, on est autour des 1000ko par fichier donc sur 24000 grosse maille sur 2 ans (ceci pour une seule table et je n'en suis qu'à mon premier indicateur "je suis très loin d'avoir fini tout mon tableau de bord"
Je laisse ton expertise juger sachant que je transversaliserai certainement la méthode pour toutes mes autres tables.
Salut Baroute,
Bonne année, j'espère que tu vas bien.
J'ai essayé de suivre ta proposition de "système de nommage des fichiers" pour faire l'historisation de mes données mais je t'avoue que je cale et que le sujet se fait rare sur internet pour s'inspirer...
Je n'ai pas réussi à trouver s'il m'était possible de programmer l'extraction depuis le logiciel de prod, je suis toujours en train de me renseigner auprès de l'IT.
Hello,
Si tu nommes tes fichiers avec ce format par exemple "20240103" pour la date d'aujourd'hui, tu peux utiliser la fonction Folder.Files qui te listera l'ensemble des fichiers présents dans ton dossier. A partir de là tu as les tables + les noms de fichier associés et il est aisé de récupérer le nom du fichier dans ta table :)
Si jamais ce n'est toujours pas clair j'essaierai de te proposer quelque chose à titre illustratif
@+
Merci pour ton retour,
Si je comprends bien je nomme mes fichiers comme tu me l'as indiqué ("20240103" ce terme doit il simplement apparaître dans le nom du fichier ou il doit être le seul nom du fichier ?)
tu peux utiliser la fonction Folder.Files qui te listera l'ensemble des fichiers présents dans ton dossier.
- La liste est générée dans Power Query ?
- Dois-je le faire dans une requête vierge ?
- Cela permet de générer toutes les tables du dossier et donc tout stoker dans Power BI ?
Je me lance et te tiens au courant, merci encore
Hello de nouveau,
Si je comprends bien je nomme mes fichiers comme tu me l'as indiqué ("20240103" ce terme doit il simplement apparaître dans le nom du fichier ou il doit être le seul nom du fichier ?
Tu peux le nommer "20240103 - XXXX", l'objectif est qu'il soit facilement accessible et constant dans le temps
La liste est générée dans Power Query ?
Dans une requête vierge tu fais nouvelle source "Dossier" et tu mets ton chemin d'accès. Cela listera les fichiers présents dans ton dossier tu verras le résultat
Je te conseille également de désactiver certains paramètres afin d'éviter des problèmes dans l'éditeur
@+
C'est tout simplement génial !
Mille mercis, il ne me reste plus qu'à l'appliquer et poursuivre le processus.
J'aurai aussi 2 ou 3 autres questions dans la continuité de ce sujet, dois-je créer une nouvelle discussion ?
Merci encore, passe une bonne soirée
Salut de nouveau,
J'essaye maintenant d'intégrer le dossier complet en tant que source de ma requête initialement programmé.
J'ai appliqué ce que tu m'as montré et j'arrive bien à obtenir l'ensembles des tables des fichiers du dossier (Groupe FOLDERFILES).
J'aimerais faire de même pour la source de ma requête qui me permet de calculer mon indicateur. Dois-je changer la source par la requête "FOLDERFILES" ?
Hello,
Je n'ai pas compris la question
...
@+
EDIT : résolution du sujet via la fonction Folder.Files puis :
- Une étape pour récupérer la table de chaque fichier Excel,
- Une étape de transformation pour affecter la première ligne de chaque table comme en en-tête b
- Une étape : Table.Combine pour combiner chaque table.
Finalement n'a pas eu besoin de la date dans le nom du fichier
Excuse moi,
J'ai appliqué ta démonstration pour générer tous les fichiers de mon dossier dans Power Query et j'obtiens une requête "Fichiers APF".
Je voulais savoir si je pouvais donc utiliser cette table en tant que source pour mes autres requêtes.
J'espère avoir été un peu plus clair que mon com précédent
Résolu en MP