Ouvrir .csv plusieurs millions de lignes Le sujet est résolu

Y compris Power BI, Power Query et toute autre question en lien avec Excel
Avatar du membre
pierrep56
Membre impliqué
Membre impliqué
Messages : 1'046
Appréciations reçues : 163
Inscrit le : 18 juin 2014
Version d'Excel : 2016

Message par pierrep56 » 27 mai 2019, 17:11

Ok?

Je remets ici la Bretagne.

Pour les autres régions : les fichiers sont vides de codes, en fait ces cartes sont à placer à la place de celle de la Bretagne dans mon 1er fichier.

Pour le site public.opendatasoft.com, je te suggère alors de télécharger par chaque département comme je l'ai fait pour les 4 départements bretons, avec un lien du genre :
https://public.opendatasoft.com/explore/dataset/associations/export/?refine.theme_code=024026&refine.dept=29

Pierre
BZH.xlsm
(690.12 Kio) Téléchargé 3 fois
1 membre du forum aime ce message.
Avatar du membre
Jean-Eric
Fanatique d'Excel
Fanatique d'Excel
Messages : 16'067
Appréciations reçues : 617
Inscrit le : 27 août 2012
Version d'Excel : 365 Insider

Message par Jean-Eric » 28 mai 2019, 09:12

Bonjour,
Bonjour Glizzter, pierrep56,
J'ai regardé ton fichier csv et transformé suivant tes indications mais en supprimant (je pense) les associations dissolues.
Le résultat est un fichier de 208Mo (602781 lignes et 29 colonnes), avec un nombre de données apparemment inutiles.
En sus, si je considère que tu traites de la protection animale, le choix de tes filtres est à revoir. ;;)
Si tu veux continuer avec Power Query, je te suggère de regarder les fonctions Texte (langage M) disponibles, pour faire le ménage.
Question rapidité, Bof ! mais ce n'est pas un fichier à actualiser tous les jours... :oops:
Cdlt.
Glizzter.xlsx
(18.93 Kio) Téléchargé 1 fois
1 membre du forum aime ce message.
Jean-Eric

Je ne réponds pas aux M.P. non sollicités.
Avatar du membre
Glizzter
Jeune membre
Jeune membre
Messages : 24
Inscrit le : 15 mai 2019
Version d'Excel : 365 + BI

Message par Glizzter » 28 mai 2019, 10:32

Bonjour à vous deux et merci infiniment de votre temps et de vos réponses,

Vraiment, ce forum est une perle grâce aux contributions de ses membres !! :|||:

Je vais effectivement filtrer davantage mes résultats mais je souhaitais faire du dégraissage manuel également car je désire comprendre mieux le fonctionnement de l'enregistrement d'une association et comment certaines dans des thématiques spécifiques se retrouvent associées à la Protection des animaux. Avec un peu de chance, ça va me faire apprendre de nouvelles choses, et peut-être même me faire penser à des choses que je n'avais pas envisagées au départ ! :fete: :():

Je vais donc regarder vos deux fichiers aujourd'hui et reviendrais vers vous aussi vite que possible.

Encore une fois, merci à vous :fleurs: ,

Glizzter :trfl:
j
jmd
Fanatique d'Excel
Fanatique d'Excel
Messages : 10'658
Appréciations reçues : 251
Inscrit le : 8 décembre 2007
Version d'Excel : 365 + PowerBI

Message par jmd » 28 mai 2019, 11:29

bonjour à tous

je plussoie sur Jean-Eric : prendre Power Query
mais dans Power BI Desktop (gratuit)

PBI (avec PQuery qui y est intégré) avale le gros csv en 1 minute

ensuite, même sans prétraitement dans PQuery, donc en conservant toutes les données, on peut afficher, filtrer, bidouiller les données à sa guise
tout est fluide

exemple de graphique (il faut 1 seconde pour qu'il l'affiche ! ) de millions de lignes sommées par date, il a fait des sommes par an tout seul, mais on peut remodifier

naturellement, il vaudra mieux prétraiter dans PQuery : notamment supprimer les colonnes inutiles, et filtrer des lignes (j'ai pas regardé)

amitiés
toto.jpg
1 membre du forum aime ce message.
Apprenez les fonctions d'Excel.
Exemple "Mettre sous forme de tableau", TCD, "Récupérer des données".
Apprendre les fonctionnalités "récentes".
Avatar du membre
Jean-Eric
Fanatique d'Excel
Fanatique d'Excel
Messages : 16'067
Appréciations reçues : 617
Inscrit le : 27 août 2012
Version d'Excel : 365 Insider

Message par Jean-Eric » 28 mai 2019, 12:11

Re,
@ Glizzter,
Je suis un peu perdu !
Si tu voulais un graphique, il fallait le dire clairement. ;;)
Cdlt.
1 membre du forum aime ce message.
Jean-Eric

Je ne réponds pas aux M.P. non sollicités.
j
jmd
Fanatique d'Excel
Fanatique d'Excel
Messages : 10'658
Appréciations reçues : 251
Inscrit le : 8 décembre 2007
Version d'Excel : 365 + PowerBI

Message par jmd » 28 mai 2019, 12:35

re

j'ai aussi mis un tableau (mal visible derrière le graphique qui attire le regard)
et on peut mettre des filtres de type segment comme dans Excel :)

note :faire un tableau, un TCD ou un graphique, c'est presque pareil dans PBI

note 2 : on peut exporter des données filtrées depuis PBI vers Excel,
https://www.youtube.com/watch?v=jmTedSuKers

amitiés
1 membre du forum aime ce message.
Apprenez les fonctions d'Excel.
Exemple "Mettre sous forme de tableau", TCD, "Récupérer des données".
Apprendre les fonctionnalités "récentes".
Avatar du membre
Glizzter
Jeune membre
Jeune membre
Messages : 24
Inscrit le : 15 mai 2019
Version d'Excel : 365 + BI

Message par Glizzter » 28 mai 2019, 13:19

Bonjour JMD et rebonjour Jean-Eric,

Merci à tous les deux pour vos réponses :D

@Jean-Eric,

Non, merci, je n'ai pas besoin de graphique (du moins, pas pour le moment) :mrgreen:
Ton fichier est par-fait. J'ai adapté le lien vers le fichier RNA Waldec de mai 2019 ; et ai réduit la quantité de filtres comme tu me l'as préconisé. Tout est idéal. :youhou:

Juste une petite question :| :
comment faire, à partir de l'éditeur Power Query, pour l'importer dans une nouvelle feuille afin de continuer à traiter les données manuellement ?
Image


@JMD

Merci pour cette découverte, je ne connaissais pas ce programme !! :s10:
Je ne peux malheureusement pas le télécharger sur le poste sur lequel je suis (ou tout du moins l'y installer) car je n'ai pas les droits admin. Mais je profiterais d'être chez moi pour y jeter un meilleur coup d’œil ! :sp:
Avatar du membre
pierrep56
Membre impliqué
Membre impliqué
Messages : 1'046
Appréciations reçues : 163
Inscrit le : 18 juin 2014
Version d'Excel : 2016

Message par pierrep56 » 28 mai 2019, 13:38

Bonjour à tous,

Juste comme exercice de style, voici un essai de carte de département.
Sur l'onglet "Carte", on choisit un département (avec éventuellement choix d'une région avant) => la carte du département se dessine avec toutes les assoce code-theme=024026 pointée en rouge.
Capture.JPG
Un clic sur un des point affiche de l'info correspondant à cette assoce.

Cette méthode permet d'avoir tous les départements avec toutes les assoce code-theme=024026 sans aucune autre manip.

Pierre
Carte_ProtectionAnimale_2019.xlsm
(71.61 Kio) Téléchargé 4 fois
1 membre du forum aime ce message.
Avatar du membre
Glizzter
Jeune membre
Jeune membre
Messages : 24
Inscrit le : 15 mai 2019
Version d'Excel : 365 + BI

Message par Glizzter » 28 mai 2019, 14:41

Rebonjour Pierre,

Bon sang c'est incroyable ce que tu as fait !! C'est effectivement formidable ! :appl: :appl2:

Bien sûr, comme je projette à terme d'utiliser Google My Maps, je n'ai pas cherché à faire un référencement par carte excel, mais simplement établir une liste complète des associations...

Mais de savoir que c'est possible, et avec une telle clarté dans la présentation, c'est vraiment incroyable à mes yeux !!! :-? 8[]

Tu donnes des cours ? Hahaha ! :univ: ::D (je ne rigole qu'à moitié)

J'aimerais vraiment savoir faire ce genre de travail, c'est magnifique. :ave:

Glizzter :trfl:
j
jmd
Fanatique d'Excel
Fanatique d'Excel
Messages : 10'658
Appréciations reçues : 251
Inscrit le : 8 décembre 2007
Version d'Excel : 365 + PowerBI

Message par jmd » 29 mai 2019, 09:34

Glizzter a écrit :
28 mai 2019, 13:19

@JMD

Merci pour cette découverte, je ne connaissais pas ce programme !! :s10:
Je ne peux malheureusement pas le télécharger sur le poste sur lequel je suis (ou tout du moins l'y installer) car je n'ai pas les droits admin.
re

toi aussi tu as un service informatique qui freine, alors qu'ils auraient dû depuis 2 ou 3 ans avoir installé PBI sur tous les PC de l'entreprise ::o
des informaticiens en retard sur la technologie, une honte !

courage
amitiés
1 membre du forum aime ce message.
Apprenez les fonctions d'Excel.
Exemple "Mettre sous forme de tableau", TCD, "Récupérer des données".
Apprendre les fonctionnalités "récentes".
Répondre Sujet précédentSujet suivant
  • Sujets similaires
    Réponses
    Vues
    Dernier message