Fichier Modèle Importation et Analyse Données CSV
Bonjour à Tous,
Ma première fois sur un forum, j'ai besoin d'aide, je n'en dors plus ou presque mais j'y passe beaucoup, beaucoup trop d'heures à tâtonner, à trouver un contournement, puis par être bloqué de nouveau plus loin .... Bref !
De manière récurrente, je télécharge des données publiques en .csv, imbuvables, et dois les mettre en forme, puis les analyser en rajoutant des formules assez simples. A chaque fois je perds énormément de temps dans tout ce traitement. Je souhaite donc l'automatiser. J'ai commencé plusieurs fois depuis 8 ans mais je n'en viens jamais à bout, j'abandonne, me recoltine chaque étape et puis ça me reprends a vouloir automatiser je repars de zéro car j'ai oublié...
Cette fois encore, je suis près de lâcher mais je lance cette bouée sur ce forum qui m'a déjà beaucoup aidé dans mes contournements !
Pour pouvoir partager cette manip a des personnes qui en connaissent encore moins que moi en Excel, j'essaie que tout soit le plus possible automatisé. Donc le maximum en macro.
Ma question est déjà très longue et j'ai pas encore expliqué mes limites... Désolé. Merci au courageux qui n'a pas encore lâché l'affaire !!!
Bien, pour résumer mon besoin :
Avoir un fichier Excel "Modèle" (que je puisse utiliser plusieurs fois en le renommant), pour mettre en forme des nouvelles données csv importées, intégrer des colonnes avec des formules. La mise ne forme et les formules restent toujours les mêmes.
Dans le détail :
1. J'importe des data en plusieurs fichiers .csv (entre 5 et 30) chacun comporte entre 1 et 10000 lignes. En générale sur 43 colonnes
2. Je les stocke dans un dossier
3. Je les combine dans un fichier Excel - avec Power Query (je viens de découvrir Génial ! Avant je copiais /collais chaque fichier .csv dans une seul fichier, barbant...)
4. Je mets en forme sommairement cette feuille ( qui contient donc les données sous forme de tableau) comme référence du téléchargement (feuille BRUT)
5. Je la duplique pour travailler les données (Feuille DVF)
6. Je fais des mises en formes, j'intervertis des colonnes, je transforme les données .csv comme les ".0", les "None, les "nan" en numériques ou en texte, en € en "m²"..., je remplace des données par d'autres, j'insère des colonnes pour donner des N° de lignes (en fonction du tri de date, du tri de la feuille BRUT), des colonnes de formules...
7. Et puis une mise en forme finale
8. Je n'en suis pas arrivé là mais j'aimerais pouvoir analyser ces données par des graphiques et tableaux croisés dynamiques.
L'idée est qu'une fois les fichiers .csv téléchargés, je n'ai que peu à intervenir et que tout se fasse en lançant une ou deux macros.
J'ai enregistré des macros, mais lorsque je les relance il y a une foultitude de bugs. Je corrige comme je peux, mais je rame.
Les problèmes principaux que je rencontre sont :
A. Dans VBA certains codes ne sont pas traduits. Il faut que je corrige manuellement, je n'ai rien trouvé à ce sujet sur le net . Ex : LIGNE au lieu de ROW
B. Etendre une formule vers le bas du tableau. des fois ça marche , des fois non
C. Transformer les futurs valeurs CSV en numérique. Remplacer ".0" par ",0". Des fois ça marche, des fois non... sans explication
D. VBA donne des noms au tableau (ex DVF_3) que je n'ai pas décidé. Et donc des fois la macro va marcher dans un fichier mais pas dans un autre parce que dans ce fichier le tableau aura reçu un autre nom...
E. etc....
Pour la transformation des valeurs csv, ça marchait bien avec Power Query, mais je n'arrive pas à enregistrer cette partie "requête" dans une macro
Pour les points A et B, je convertis le tableau en Plage de données mais mêm comme cela cela ne marche pas toujours. Et puis ensuite c'est dommage parce que dans mes formules je perds le nom des cellules et en plus je ne sais pas comment étendre les formules en bas du tableau
Ma grosse limite est la maitrise des outils Excel et du codage VBA que je ne connais quasi pas.
Ai-je bien fait de travailler sur un tableau de données (ca paraissait tellement génial d'avoir les différence de couleurs de ligne permanentes, d'avoir les filtres directement en tête de ligne, que les formules puissent s'étendre jusqu'en bas du tableau... ) ? Faut-il mieux passer par une plage ? Par une matrice ? ???
En pj je mets le fichier de données avec la feuille issue directement de l'importation via POwer Query (DataDVF), la feuille BRUT issue de la Macro (M01-0Prepa), la feuille DVF1 (avec la mise en forme partielle formules attendues), le script VBA actuel des Macros "M01_0Prepa" et M01_1PrepaBrut" et puis le descriptif partiel des étapes des macros.
A votre bon coeur Excelleurs, Merci de votre aide
Xavier
Bonsoir,
Il n'y a pas de pièces jointes.
Cordialement
Le voilà , désolé,
J'ai réduit beaucoup le nombre de lignes pour la taille
Bonjour,
Sujet un peu touffu.
Il faudrait peut être le décomposer étape par étape pour y voir plus clair.
Déjà les requêtes ne fonctionne pas les source ne sont pas dispos.
Cordialement
Bonjour Zebulon2,
Merci de ton retour !
Oui, trop touffu sans doute vu le nombre de contributeurs...
Comment rendre les sources disponibles pour les requêtes ? En pj le fichier Excel contenant le résultat de la combinaison via Power Query des fichiers téléchargés. Est-ce suffisant ?
Tu as aussi raison pour le découpage en étapes.
Dans un premier temps selon toi quel est l'outil Excel le plus commode pour ce travail ? Travailler sur une plage de données, un tableau (table ?), une matrice, un tableau croisé dynamique ???
A la fin avoir une présentation sous forme de tableau (style des lignes, filtre pour chaque colonne...), je trouve ça hyper pratique. Par contre il y a des bugs quand j'enregistre la macro (problème de traduction dans VBA (LIGNE vs ROW ; ANNEE vs YEAR...), de nom du tableau que je ne maitrise (nom automatiquement donné par Excel) et donc sur un nouveau fichier créé à partir du fichier modèle j'ai des bugs...
Qu'en penses-tu ?
Re,
sans le fichier source impossible de voir les requêtes. Il faut le fichier csv
Cordialement
Edit
C'est bon j'ai récupéré des fichiers sur le site
Re,
Un essai à tester et peaufiner.
les fichiers csv sont à mettre dans un dossier DataDVF
Cordialement
Bonsoir,
Pas de retour ?
Cordialement
Panne Internet, maudite étape 3, merci Free !
Je regarde et reviens vers toi , merci !
Bonjour Zébulon,
Merci pour ton aide précieuse. J'ai de nouveau un peu d'espoir !!
J'ai ouvert le fichier, en fait tu as fait une macro pour directement combiner et importer les fichiers csv ?! Je ne pensais pas que ce soit possible...
il y a plusieurs Bugs qui sont liés je pense à nos différences de PC. Je suis sur Win10.
Voici les copies d'écran en pj
Bonjour,
As tu bien changé de chemin du dossier dans l'onglet Paramètres ?
Il semblerait que la première étape de la requête de se fait pas.
Autres colonnes supprimées
= Table.SelectColumns(Source,{"Content"})Pourrais tu m'envoyer les instructions des deux requêtes : Transformer l'exemple de fichier et DataDVF
Je suis aussi sur windows10 avec excel 2021
Cordialement
Désolé d'être aussi nul !
Mais où trouver l'onglet Paramètres ? Sous l'explorateur ? Dans le fichier Excel ouvert ?
Qu'est-ce que les instructions des 2 requêtes ? Comment les trouver ?
Je crois avoir compris. Dans la cellule C4 il faut mettre le chemin du dossier de mon ordi !!!
J'ai modifié mais ensuite toujours le même bug sur la ligne ".Refresh BackgroundQuery...."
Re,
Pour les instructions Onglet Requêtes et connexions, Requêtes et connexions, ouverture d'une fenêtre sur la droite de l'écran, double clic sur une des deux requêtes, Onglet Accueil, Requête, Éditeur avancé.
Copier la totalité du texte.
Cordialement
Re, Je ne trouve pas les onglets "Requetes et connexion" sous Excel no sur VBA. JE suis sur office 365. Je trouve uniquement "Requêtes". Et ce qui ressemble le plus à ta demande est "Exporter fichier de connexion". C'est ça dont tu as besoin? Si non , peux-tu préciser où je dois trouver cet onglet. Excel, VBA, Power Query ? Suis perdu....
C'est très énervant, d'habitude c'est moi qui explique aux autres
re,
Avec excel 2021
Données, Requêtes et connexions, Requêtes et connexions,
re,
je n'arrive pas à reproduire l'erreur sur mon poste.
Il semblerait que ce soit un problème d'actualisation.
Je poste le problème et reviens vers toi si j'obtiens une réponse.