Grand nombre de TCD et taille du classeur
Bonjour,
Je souhaite réaliser un fichier me permettant d'exploiter une base de donnée qui pour leur fait 60 colonne par 3500 ligne mais qui à therme devrait finir à 80 colonne pour 20 000 ligne.
L'idée de base est la suivante:
- 1 feuille "Sommaire" qui me permet de d'accéder à mes feuilles "Recapitulatif" (bleu foncé) et avec des segments qui configure presque que tous les TCD du classeur
- Les feuilles "Recapitulatif" (bleu foncé) avec les des liens hypertextes vers les feuilles "détails" et des rechercheV pour récupérer le total général de chacune.
- Les feuilles détails avec 1 ou 2 TCD le 1er servant à l'opérateur pour visualiser le détails des pièces et le 2nd me sert à récupérer certain total intermédiaire.
Malheureusement cette configuration me pose problème pour la taille du fichier et à l'ouverture de celui ci. Je n'ai pas fait attention et je me suis retrouver avec un fichier faisant 23 Mo et qui ne s'ouvre plu (avec ~120 TCD) et par chance j'avais une sauvegarde intermédiaire qui s'ouvre (avec ~90 TCD)! Pour info j'ai enlever la mise à jour à l'ouverture des TCD dans les 2 fichier
Après quelque recherche je n'ai trouver que les pistes suivantes pour optimiser mon classeur:
- Je vais retravailler ma base de donnée pour qu'elle ne comporte pas de cellule vide
- Vérifier que les données de mes TCD soit dans cette config
- vérifier chaque feuille (en faisant "CTRL+Fin" et en modifiant l'extension en .zip pour identifier des feuilles) et refaire celle qui comporte des données parasites
En conclusion la config de mon fichier avec une base de donnée d'environ 20 000 ligne et 80 colonne ainsi qu'environ 20 feuilles de Récap et donc dans les 300 TCD est elle viable ou pas?(si le fichier met 10min pour s'ouvrir mais qu'il fonctionne ça me va)
Si ce n'est pas le cas comment organiser différemment mon classeur? car il m'est impératif d'avoir les données des feuilles de récap car elle constitueront la base de données d'un autre fichier et dans le même temps d'avoir accès au TCD "détails" de chaque pièce?
Merci d'avance a ceux prendrons le temps de me lire et de m'aider car ce fichier une fois fonctionnel va me changer la vie au boulot!
Bonjour
Si tous les TCD sont basée sur la même source, mise sous forme de tableau structuré de préférence, il n'y a qu'un cache pour le TCD.
Avec 20 000 lignes sur 80 colonnes il est forcément un peu lourd.
Après ce qui peut gonfler le cache c'est le nombre de dimensions dans les TCD (nombre de champs en lignes X nombre de champs en colonnes)
300 TCD cela parait énorme
Merci Chris pour ton retour!
Oui tous les TCD sont sur une base de donnée unique qui est sous forme tableau structurée j'ai créé une macro qui copie/colle 4 classeur de donnée "brute" ( export logiciel via un .xlt qui nettoie les données) et m'ajoute des colonnes de formule pour exploiter les données. Et comme je débute en vba les TCD sont très pratique pour filtrée les données et générer mes récap que je vais devoir exporter vers un autre fichier. Je pense savoir comment faire l'export en VBA mais j'ignore s'il est possible de remplacer les TCD de mes feuille détail qui génère les total dont j'ai besoin dans mes feuilles récap le tous influencé par les segments par de la VBA. Est il possible de le le faire?
RE
Et comme je débute en vba les TCD sont très pratique pour filtrée les données et générer mes récap que je vais devoir exporter vers un autre fichier.
... j'ignore s'il est possible de remplacer les TCD de mes feuille détail qui génère les total dont j'ai besoin dans mes feuilles récap
Sans voir un exemple c'est difficile d'appréhender ton cas mais il est probable que tout cela puisse être fait par PowerQuery, intégré à Excel, depuis le fichier destination.
Pourrais tu m'en dire un peut plus sur Power Querry car je connais depuis peu de temps?
Si je te nettoie mon fichier 9Mo pour qu'il fasse les 1.5 Mo demandé par le site tu pense pouvoir me donner quelque piste?
En principe oui
Bon il reste plus grand chose dans le fichier mais tu as le principal...
RE
Déjà nombre de colonne ne servent que pour certains cas et pèsent pour rien
D'autre semblent vides mais ne le sont pas (sans doute des caractères spéciaux non visibles)
Il pourrait être intéressant de faire une liste de paramètres afin de lister ces colonnes spécifiques par rapport à la partie concernée afin d'alléger par partie via des requêtes PowerQuery.
Un TCD s'explore plutôt par LIREDONNEESTABCROISDYNAMIQUE que RECHERVCHEV
As-tu besoin des TCD détails ou juste de la somme ?
SI les filtres des TCD sont fixes PowerQuery peut aussi restituer à la demande dans un unique onglet (avec un seul exemple, difficile d'évaluer à coup sûr)
RE
Pour le nombre de colonne je pense pas pouvoir le beaucoup le réduire car malheureusement certaine colonne sont spécifique à certaine pièce, et j'ai lu qu'il vallait mieux avoir plusieurs colonne avec des formules simples que quelques colonnes avec des formules complexe. Certaine colonnes sont vides mais suivant les export il peu y avoir des données et j'avais prévu de faire en sorte de remplacer toutes les cellules vide par des 0.
j'ai besoin des sommes mais aussi si besoin d'avoir accès au TCD détails, serais il possible d'avoir une feuile détail dans laquelle on affiche le TCD souhaité lorsqu'on clic sur le nom de la pièce dans le récap des sommes?
Tous les TCD de détails on des filtres fixes mais sont lié au segment du sommaire
RE
Pour le nombre de colonne je pense pas pouvoir le beaucoup le réduire car malheureusement certaine colonne sont spécifique à certaine pièce
Justement ce pourquoi je propose la création d'une table... à gérer par PowerQuery
... j'ai lu qu'il vallait mieux avoir plusieurs colonne avec des formules simples que quelques colonnes avec des formules complexe.
Cela c'est pour faciliter la création des formules mais ce n'est pas le sujet.
Certaine colonnes sont vides mais suivant les export il peu y avoir des données et j'avais prévu de faire en sorte de remplacer toutes les cellules vide par des 0.
Comme je l'ai dit certaines contiennent quelque chose de non visible et ne sont donc pas vides
Mettre de 0 partout ne me parait pas forcément la bonne approche puisque le but est d'alléger...
j'ai besoin des sommes mais aussi si besoin d'avoir accès au TCD détails, serais il possible d'avoir une feuile détail dans laquelle on affiche le TCD souhaité lorsqu'on clic sur le nom de la pièce dans le récap des sommes?
TCD non sauf structure identique avec filtrage à la volée
Tableau issu de requête PoweQuery, oui, a priori (cf ma remarque sur la pauvreté d'un unique exemple pour décider...)
Tous les TCD de détails on des filtres fixes mais sont lié au segment du sommaire
Je n'ai pas pu voir quel choix dans le sommaire renvoie à l'exemple...
RE
Comme je l'ai dit certaines contiennent quelque chose de non visible et ne sont donc pas vides
Peux tu m'indiquer une colonne en exemple? parce qu'en théorie via les formule il y a juste ""
Si joint des TCD qui montre les différentes config, Pour les segments "Phase" "Ouvrages" et "Bâtiment" sont connecté à tous les TCD par contre les TCD "Infrastructure" et "structure" eux sont connecté chacun à une partie des TCD, il y a 30 TCD qui sont lié uniquement à "infrastructure" les autres étant des doublons avec juste le champ "Niv" ou "Niv2" comme tu peux le voir sur la dernière feuille ou il y 2 TCD.
as tu suffisamment d'info? Pourrais tu faire un fichier test ?
Bonjour
Colonnes AQ et AT faussement vides
Tes TCD étant déconnectés de leur source, on n'a que les titres et les champs utilisés pour se faire une idée. Les listes déroulantes ne sont pas opérationnelles pour voir les sélections par exemple pour les 2 TCD côte à côte...
Ce qu'on peut voir confirme la 1ère analyse :
Il faut, dans une table, définir les différents niveaux, la hiérarchie, et les colonnes utilisées pour l'analyse
C'est ce qui permettra de voir ce qui est commun à tout et ce est :
- soit spécifique d'un groupe de niveaux,
- soit spécifique d'un niveau
A priori plus de 30 colonnes semblent spécifiques à des niveaux