Comment ouvrir un fichier trop gros sur Excel
Bonjour,
Je tente d'ouvrir un fichier excel disponible sur le site du gouvernement, il est trop lourd, je ne peux l'importer ici, et je ne suis pas autorisée à envoyer le lien vers le fichier. il s'appelle sur le site du gouvernement datagouv "Siren fichier stock unité légale du 1ER NOVAMBRE" mais celui ci semble trop gros, et quand je l'ouvre je n'accède pas aux données. Comment acceder aux données.
A noter que j'ai tenté avec powerBI mais quand je cherche le fichier pour l'importer sur power BI celui ci ne me le trouve pas et à noter que je n'ai pas powerquery sur mon PC entreprise.
Merci pour votre aide.
Bonjour
Difficile à croire
vous avez Excel365 installé et vous n'avez pas Power Query (c'est je crois installé par défaut) alors que Power BI en a besoin
vous n'arrivez pas à utiliser sous Excel365 des fichiers trouvés sous Base Sirene des entreprises et de leurs établissements (SIREN, SIRET)?
Bonjour
c'est pourtant le cas cf ci dessous et quand je recherche powerquery, il ne ressort pas sur mon PC ni sans les propositions de logiciels à téléchager de mon entreprise.
Cdlt
et en effet, je veux ouvrir le premier fichier du lien que vous avez envoyé.
Merci bcp
Bonjour
Ce fichier décompressé fait plus de 3 Go. Ni le bloc notes, ni Excel, Ni Word, Access ne peuvent l'ouvrir.
PowerQuery est intégré à Excel 365 donc sauf installation spécifique pour le désactiver, il est présent : onglet Données.
Mais vu la taille les recherches prennent du temps même sur mon PC rapide...
EDIT : mes tests on pris du temps, sorry
Bonjour,
Je vous remercie, ça fonctionne.
Question, est-il possible de faire un recherche X entre des données présentes sur Excel et des données présentes sur Powerquery ?
Merci bcp
RE
Non pas de recherche X directement mais on peut procéder ainsi sous réserve que la recherche se limite à un nombre raisonnable de cas :
Créer un petit tableau structuré avec les colonnes correspondant à ce que l'on veut chercher : code SIREN ou autre (mais vu la taille du fichier je conseille le code SIREN)
Le charger dans PowerQuery : bien mettre le code SIREN en type texte dans la base chargée comme dans ce tableau.
Croiser les deux requêtes sur ce code et ne conserver les colonnes utiles. Charger ce résultat dans un onglet : cela permettra de l’utiliser pour des formules de recherche.
Bonjour
Merci pour ce retour,
J'aurais besoin de conserver les colonnes SIREN, CATEGORIEJURIDIQUEUNITELAL, CATEGORIE ENTREPRISE du fichier du gouvernement que j'ai importé dans powerquery Ca fait encore trop de données aussi. je voudrais croiser avec mes données internes excel et avec les données du gouvernement que j'ai importé.
Désolée, je ne suis pas certaines d'avoir compris votre explication.
Merci bcp
RE
Quel ton critère de recherche actuel ? Si tu faisais un RECHERCHEX tu utiliserais bien le code SIREN ?
Tu as combien de ligne dans ton ton tableau de données internes ? Si tu veux croiser toutes les lignes tu peux le charger dans PowerQuery.
Répond à ces questions, poste un extrait de 4 ou 4 lignes de ton fichier : on pourra te donner la marche à suivre plus précisément.
La clé de mon recherche x serait le siren en effet et la donnée que je souhaite croisée est Siren, CATEGORIEJURIDIQUEUNITELAL, CATEGORIE ENTREPRISE pour voir si je dispose des mêmes données dans mon outil interne
J'ai 25702 ligne dans mon fichier interne.
Ci dessous un échantillon de ma liste interne en jaune et en vert les cellules vides dans lesquelles je souhaite rapatrier les données du fichier excel du gouvernement.
Merci bcp
Bonjour
Ci joint le classeur :
- un onglet Paramètre pour donner le chemin du fichier csv
- un onglet Résultats avec les résultats de la requête
- un onglet Base avec ton tableau mis sous forme de tableau structuré nommé Base
- les requêtes dans PowerQuery
Je m'absente donc ne pourrais répondre à des questions éventuelles avant ce soir...
Bonjour,
Merci, c'est exactement ce que je cherche a faire pour mes près de 25000 lignes, mais j'avoue être dépassée sur la façon dont vous avez procédée et serais incapable de le refaire.
Pouvez vous détailler pas à pas comment vous avez procédé ?
Merci bcp
Avez vous uniquement importé le fichier du gouvernement dans power query et comment avez vous réussis à faire le recherche X via mon fichier excel interne ? Ou les deux fichiers importés dans powerquery.
c'est ça que je ne comprends pas. A présent, j'aimerais faire comme vous avez les 25000 lignes de mon fichier interne que j'aimerais croiser avec le fichier du gouvernement
Merci bcp
RE
Si tu ouvres PowerQuery tu vois 2 requêtes :
- Base qui charge ton tableau (mis sous forme de tableau structuré) et type les données (comme dit il faut typer le siren en texte)
- StockUniteLegale_utf8 (que j'aurais pu renommer) qui :
- charge le petit tableau de paramètres nommé Dossier qui indique le dossier où PowerQuery doit chercher le csv qui porte ce nom
- y ajoute une colonne qui combine le chemin avec le nom du CSV pour en charger les 28 1ères colonnes (tu n'utilises pas les autres) et ne conserve que cette colonne
- extrait du Csv les 3 colonnes qui t'intéressent
- promeut l'en-tête
- type les 3 colonnes en texte
- fusionne avec la requête Base afin de ne lister que les siren communs, donc au maximum le nombre de lignes de ta base
- supprime la colonne de fusion
Quand tu sélectionne une requête à droite, tu as à gauche la liste des étapes et leur détail dans la barre de formule et en cliquant sur le petit rouage de l'étape.
StockUniteLegale_utf8 est chargé dans l'onglet Résultats comme indiqué dans mon précédent message
Il n'y a plus qu'à ajouter les 2 formules RECHERCHEX dans ton ton tableau : dans un tableau structuré on ne tape les formules que sur la 1ère ligne : Excel les propage automatiquement jusqu'en bas.
A noter cependant que 25000 X 2 RECHERCHEX risque de mouliner... On peut aussi directement comparer dans PowerQuery et mettre en évidence les
différences
Si tu n'as jamais utilisé de tableau structuré (il existent depuis 22 ans dans Excel) et leur formulation, ceci t'aidera à les découvrir
https://excel-formations.fr/Trucs_astuces/Tableaux01.php
Merci pour votre retour, je viens de faire la manipulation sur mon fichier interne et cela fonctionne. Je ne connaissais pas, c'est fort pratique , même plus besoin de faire de recherche x. Par contre, si j'avais voulu importer mes données dans le gros excel du gouvernement je constate que ça ne marche pas.
Je continuerai quand même pour mes autres sujets dont les fichiers sont ouvrables à procéder avec recherche x.
Est ce que power query offre la possibilité de faire une sorte de =si, nbsi ens, etcc?
Si on veut saisir une formule typiquement recherche x =si, nbsi ense et travailler directement sur power Quercy, ou la saisir et comment faire?
Merci bcp
Bonjour
Merci du retour.
PowerQuery permet des formules mais l'équivalent des recherches Excel est fait par des jointures dans la majorité des cas.
C'est bien plus puissant et efficace.
On utilise la logique des bases de données justement faites pour traiter des tables ou listes de données, alors que le tableur n'est pas fait pour cela à la base.
Chaque fois que j'ai donné des cours sur les requêtes (dans Acces ou autre système de gestion de base de données) à des habitués d'Excel, ils étaient sidérés de la puissance et la facilité...
Le calcul statistique (ce que font NB.SI, SOMME.SI and co) est aussi très facile : on peut souvent remplacer un TCD par une requête PowerQuery.
Pas sûr d'avoir compris ta phrase "Par contre, si j'avais voulu importer mes données dans le gros excel du gouvernement je constate que ça ne marche pas."
Qu'envisageais-tu exactement ? (ce n'est pas un Excel mais un csv car Excel ne peut traiter ce volume...)
Bonjour
Merci pour ce retour, je vais essayer de voir pour faire mes prochaines études sur PowerQuery, si ça peut permettre de s'affranchir de TCD c'est vraiment pas mal.
J'en fais bcp avec X filtres.
"Pas sûr d'avoir compris ta phrase "Par contre, si j'avais voulu importer mes données dans le gros excel du gouvernement je constate que ça ne marche pas."
Qu'envisageais-tu exactement ? (ce n'est pas un Excel mais un csv car Excel ne peut traiter ce volume...)"
Dans mon cas, en chargeant le fichier du gouvernement qui est lourd et le mien (bien moins lourd) sur power query, j'ai importé les données du gouvernement sur mon fichier que j'ai retraité en Excel pour comparer les incohérences ou pas.
J'ai tenté par curiosité de faire l'analyse dans l'autre sens, croiser mes données dans le fichier excel du gouvernement et j'ai tenté de charger sur Excel, ça n'a pas marché (car trop lourd). Mon problème d'origine. Je me suis dit quand étant passé par powerquery, et qu'après en le chargeant sur Excel, excel serait peut être parvenu à l'ouvrir mais j'avais le message indquant que le mémoire était insuffisante
Merci bcp
RE
Excel n'a qu'un million de lignes et le fichier du gouvernement en a près de 29 millions donc il faudrait répartir sur 29 onglet mais la taille du fichier dépasserait les limites d'Excel...