Ouvrir .csv plusieurs millions de lignes Le sujet est résolu

Y compris Power BI, Power Query et toute autre question en lien avec Excel
Avatar du membre
Glizzter
Jeune membre
Jeune membre
Messages : 24
Inscrit le : 15 mai 2019
Version d'Excel : 365 + BI

Message par Glizzter » 27 mai 2019, 13:04

Bonjour à vous tous ! :D

Me revoilà avec toujours le même enjeu que dans mon premier post.

Mais cette fois, j'aimerais pouvoir traiter le fichier CSV - trop volumineux pour être joint à ce message, voilà le lien de téléchargement :
Télécharger le .CSV

Comme il me l'a été conseillé, je l'ouvre avec Access, mais même avec Access ça rame HORRIBLEMENT.

Comment traiter ce .CSV, du coup ?
Dois-je le transformer en un autre format ?

Très agréable journée à vous ! :mrgreen:
Avatar du membre
Jean-Eric
Fanatique d'Excel
Fanatique d'Excel
Messages : 15'720
Appréciations reçues : 574
Inscrit le : 27 août 2012
Version d'Excel : 365 Insider

Message par Jean-Eric » 27 mai 2019, 13:36

Bonjour,
1692007 lignes et 40 colonnes !...
Essaie d'attaquer ton fichier avec Power Query en supprimant les colonnes inutiles, en filtrant les données comme tu le ferais sous Excel, etc...
Exemples : associations dissolues, code social, etc...
Tu n'as certainement pas besoin de toutes les données.
Précise ce que tu veux de ton csv.
Cdlt.
1 membre du forum aime ce message.
Jean-Eric

Je ne réponds pas aux M.P. non sollicités.
Avatar du membre
pierrep56
Membre dévoué
Membre dévoué
Messages : 981
Appréciations reçues : 151
Inscrit le : 18 juin 2014
Version d'Excel : 2016

Message par pierrep56 » 27 mai 2019, 13:47

Bonjour à tous,

Pour m'excuser de ma dernière intervention ratée de l'autre fil, est-ce que ce lien pourrait t'intéresser :
https://public.opendatasoft.com/explore/dataset/associations/export/?q=protection+animale
Capture.JPG
Capture.JPG (71.08 Kio) Vu 526 fois
* cf "onglet" Export" => formats excel ou csv possibles
* filtrage par d'autres mots clé possible (ici : protection+animale), exemple :
https://public.opendatasoft.com/explore/dataset/associations/export/?q=protection+animale&refine.theme_libelle=protection+des+animaux
(985 lignes, code=024026 ...)

* autre exemple pour filtre sur thème_code=024000
https://public.opendatasoft.com/explore/dataset/associations/table/?refine.theme_code=024000
ou thème_code=024026
https://public.opendatasoft.com/explore/dataset/associations/export/?refine.theme_code=024026

Pierre
2 membres du forum aiment ce message.
Avatar du membre
Glizzter
Jeune membre
Jeune membre
Messages : 24
Inscrit le : 15 mai 2019
Version d'Excel : 365 + BI

Message par Glizzter » 27 mai 2019, 14:42

Bonjour Jean-Eric et Pierre et merci pour vos réponses respectives !! ::D

Jean-Eric a écrit :
27 mai 2019, 13:36
Bonjour,
1692007 lignes et 40 colonnes !...
Essaie d'attaquer ton fichier avec Power Query en supprimant les colonnes inutiles, en filtrant les données comme tu le ferais sous Excel, etc...
Exemples : associations dissolues, code social, etc...
Tu n'as certainement pas besoin de toutes les données.
Précise ce que tu veux de ton csv.
Cdlt.
Comme conseillé, j'ai essayé avec Power Query, supprimant les colonnes inutiles, filtrant les données.
Malheureusement, malgré ma suppression des lignes d'erreurs, et mon changement de tout le tableau en format "Texte", impossible de fermer et charger le tableau. Il me met le message d'erreur suivant :

Image

Évidemment, j'ai dû faire une bêtise, mais laquelle :scritch: ... ?
pierrep56 a écrit :
27 mai 2019, 13:47
Bonjour à tous,

Pour m'excuser de ma dernière intervention ratée de l'autre fil, est-ce que ce lien pourrait t'intéresser :
https://public.opendatasoft.com/explore/dataset/associations/export/?q=protection+animale
Capture.JPG
* cf "onglet" Export" => formats excel ou csv possibles
* filtrage par d'autres mots clé possible (ici : protection+animale), exemple :
https://public.opendatasoft.com/explore/dataset/associations/export/?q=protection+animale&refine.theme_libelle=protection+des+animaux
(985 lignes, code=024026 ...)

* autre exemple pour filtre sur thème_code=024000
https://public.opendatasoft.com/explore/dataset/associations/table/?refine.theme_code=024000
ou thème_code=024026
https://public.opendatasoft.com/explore/dataset/associations/export/?refine.theme_code=024026

Pierre
Bonjour Pierre !

Merci pour ce lien, il faut que je regarde, ça a l'air très intéressant !
Est-ce la façon dont ils procèdent à des extractions ? Dans tous les cas, ça m'a l'air prometteur, je vais regarder ça tout de suite !



Merci à tous les deux pour votre réponse !!!
:():
Avatar du membre
Jean-Eric
Fanatique d'Excel
Fanatique d'Excel
Messages : 15'720
Appréciations reçues : 574
Inscrit le : 27 août 2012
Version d'Excel : 365 Insider

Message par Jean-Eric » 27 mai 2019, 14:57

Re,
Power Query a dû s'occuper de la conversion des données par colonne.
Tu n'avais pas à y toucher. Sinon, on est bien clair, les données filtrés ne doivent pas dépasser le nombre de lignes d'une feuille de calcul !?
Quelles sont les colonnes à supprimer et les filtres que tu as mis en place ?
Je regarderai de mon côté.
Cdlt.
1 membre du forum aime ce message.
Jean-Eric

Je ne réponds pas aux M.P. non sollicités.
Avatar du membre
pierrep56
Membre dévoué
Membre dévoué
Messages : 981
Appréciations reçues : 151
Inscrit le : 18 juin 2014
Version d'Excel : 2016

Message par pierrep56 » 27 mai 2019, 15:27

Pour poursuivre, et fait vite-fait (donc largement imparfait), la manip suivante :

* sélection des données des 4 départements bretons (22, 29, 35 et 56), en suivant ce lien (et en modifiant le code dept) :
https://public.opendatasoft.com/explore/dataset/associations/export/?refine.theme_code=024026&refine.dept=29

* copier/coller des données vers l'onglet "Base" du xlsm joint

* vérification de la colonne N (dans quelques cas, j'ai pu constater un décalage à "recaler" comme il faut)

* ensuite, sur l'onglet "Région" ou "France" s'affiche des points représentant les assoce

* un clic sur un des points affiche de l'info

Ici pour la Bretagne-la-plus-belle-région-du-monde, donc chez-moi, mais on pourrait faire pareil pour les autres régions, il suffirait d'en avoir le courage ... (je peux fournir les cartes calibrées des autres régions)

Pierre
Modifié en dernier par pierrep56 le 28 mai 2019, 13:40, modifié 1 fois.
1 membre du forum aime ce message.
Avatar du membre
pierrep56
Membre dévoué
Membre dévoué
Messages : 981
Appréciations reçues : 151
Inscrit le : 18 juin 2014
Version d'Excel : 2016

Message par pierrep56 » 27 mai 2019, 15:34

...
Modifié en dernier par pierrep56 le 28 mai 2019, 13:40, modifié 1 fois.
1 membre du forum aime ce message.
Avatar du membre
Glizzter
Jeune membre
Jeune membre
Messages : 24
Inscrit le : 15 mai 2019
Version d'Excel : 365 + BI

Message par Glizzter » 27 mai 2019, 15:53

Rebonjour à vous deux !

ALORS :

Dans un premier temps, concernant le fichier CSV dont j'ai effectué un tri :
voici une petite capture, déjà

Image

Les opérations que j'ai effectuées :
- Enlever les colonnes suivantes :
id_ex
siret
rup_mi
gestion
nature
groupement
adrs_repetition
adrg_declarant
adrg_pays
dir_civilite
publiweb
position

- Enlever les lignes erreurs
- Filtrer la colonne "object_social1" avec les numéros suivants
24026
13005
7050
24000
24025
20000
50000
7045
14000
3000
24035
13010
11050
7000
17300
23020
24020
24015
24030
24040
14035
24050
6000
13000
24045
20015
10000
23000
11125
14025
17000
10022
11095
40000
6100
11000
6030
16000
16025

Car ce sont les numéros que j'ai identifié en faisant mes recherches textuelles "protection animale".


Dans un second temps, je viens de télécharger le fichier excel d'après ton lien, Pierre,
Image

J'ai trié textuellement selon le filtre 24026 car c'est le thème "Protection des animaux" et ai téléchargé un excel. Il a pris super longtemps pour arriver, je n'ai même pas encore eu une chance de l'ouvrir, mais ça m'a l'air parfait de prime abord !!


Merci encore à tous les deux, je m'y remets
Avatar du membre
pierrep56
Membre dévoué
Membre dévoué
Messages : 981
Appréciations reçues : 151
Inscrit le : 18 juin 2014
Version d'Excel : 2016

Message par pierrep56 » 27 mai 2019, 16:35

Bah, il faut cliquer sur "Seulement les 4215 enregistrements sélectionnés"
As-tu regardé la carte proposée?
1 membre du forum aime ce message.
Avatar du membre
Glizzter
Jeune membre
Jeune membre
Messages : 24
Inscrit le : 15 mai 2019
Version d'Excel : 365 + BI

Message par Glizzter » 27 mai 2019, 16:54

Rebonjour Pierre,

Merci encore pour toutes tes réponses et ton temps, et vive la Bretagne (c'est ma région préférée aussi :<3: :trfl: )

Bon, les fichiers quand je les télécharge sont corrompus, quoi que je fasse... Eh oui, j'ai bien téléchargé les 4215 enregistrements. J'ai essayé XLS et CSV, mais rien à faire... Je ne sais pas si c'est normal ou si c'est l'endroit d'où je télécharge qui pose problème comme ça. Je réessayerai de chez moi pour voir si cela change quelque chose.

Pour la région Bretagne, c'est typiquement le genre de fichier qui est très utile ! Après, j'avoue qu'avoir toute la France dans un seul et même fichier ne serait pas du luxe, car il doit y avoir maximum 10.000 associations sur la protection animale (à tout casser). Or 10.000, je crois savoir que c'est tout à fait ouvrable sur Excel.

Quant aux cartes "Régions", je les ai effectivement ouvertes, mais il me dit que la Macro Clic ne fonctionne pas.

Dans tous les cas, je vais tester des choses chez moi pour voir si ça marche mieux...

Merci pour votre aide précieuse,

Glizzter :trfl:
Répondre Sujet précédentSujet suivant
  • Sujets similaires
    Réponses
    Vues
    Dernier message