Récup données internet

Bonjour à vous,

Est-il possible de récupérer des données d'un site et de les copier avec mise en forme dans un tableau?

Merci d'avance

Bonjour Alienox,

Je ne suis pas du tout un spécialiste des imports Web, mais cela dépend pour beaucoup du site dans lequel tu souhaites récuperer ces données. Regarde en premier lieu si tu peux le faire avec l'outil Excel spécialement fait pour cela :

Ruban Données / Groupe Données externes / A partir du site web

Dans la fenêtre qui s'ouvre, tu saisis l'adresse du site (ou copies/Colles), tu cliques sur la petite flèche jaune qui correspond à ce que tu souhaites importer, tu modifies si besoin les options (dans ton cas : mise en forme HTML complète) qui sont en haut à droite de la fenêtre, puis importer...

Tu récupéreras les données misent en forme, mais ne t'attends pas à avoir une photographie du site : tu ne récupères que du texte, pas les objets, ni images...

Bonjour Benead,

Merci pour cette info, j'ai déjà utilisé l'outil excel, mais le truc c'est après... comment faire pour mettre en forme automatiquement, faut-il passer par une macro ou autre?

MErci

Pour info Benead, j'ai également un autre sujet en cours qui n'a pas de succès visiblement, si tu veux y jeter un œil

https://forum.excel-pratique.com/excel/lv-impression-et-recherche-t50560.html

Bonjour,

Oui ça passe par des macros plus ou moins complexe à mettre au point. Le principal inconvénient est que très souvent, tu n'as pas fini de finaliser une macro et hop le webmaster du site modifie une virgule dans sa présentation et te fout en l'air quinze jours de travail...

A+

Bonsoir Galopin01,

Sauf que pour ce site, qui est un site de formation en E-learning, les cours ne bougent pas, et je souhaiterai récupérer des fiches qui s'y trouvent, afin d'alimenter ma Bdd, que j'ai commencé manuellement avec copier/coller, et c'est franchement très long, en sachant qu'il me reste au bas mot, environ 200 à avoir.

Maintenant si quelqu'un à une idée, je suis preneur, je fais une recherche de mon côté....

Merci

Bonsoir,

Hum... ce n'est pas ce qu'on fait de plus simple en terme de prog VBA... surtout si en plus le site exige des mots de passe ou une identification !

Il n'y a pas de règle ni d'idée particulière à avoir. Tu importes, tu modifies en enregistrant tes macros et tu optimises. Avec un peu d'observation, selon les sites on arrive à détecter certains paramètres qui permettent de passer en revue toutes les pages.

...Mais ce n'est pas toujours le cas !

Il n'est guère possible d'en dire plus sans connaitre l'URL du site en question et des documents à récupérer.

A+

Re,

Oui, il y a mot de passe et identifiant, à saisir à chaque connexion....

J'ai peut-être trouvé un début, fait par le webmaster du forum d'ici (Sébastien), sur son blog Excel-pratique.

par contre, c'est du brut, par de mise en forme, tout ce fait sur une feuille "Temp", je suis sûr qu'il y a un moyen de mettre en forme les données récupérées en tableau....

Merci encore

Alienox,

Le code de Sébastien ne fait ni plus, ni moins qu'un import de page Web qui se trouve sur le ruban données, si c'est cela que tu veux automatiser, alors commence par faire une page web sur ton site de e-learning, pour voir ce que cela donne (en mettant format HTML), si le résultat est satisfaisant, on pourra faire une boucle qui lira chacune des adresse Web que tu auras mis dans une colonne d'une feuille.

Je pense que la grosse différence entre le code VBA et l'import manuel est qu'en VBA tu dois être obligé de pendre la page complète alors qu'en manuel et en fonction des sites et des pages, tu peux choisir les zones que tu veux importer.

Bonjour à vous,

Comme je te le disais "c'est du brut", ni plus ni moins ce qu'Excel fait déjà naturellement...

Par contre je viens de regarder le site et la partie qui m'intéresse, pour la récupération, n'a pas besoin de connexion avec mot de passe. Donc je dois pouvoir récupérer les données puis les mettre en forme dans nom tableau (Benead: tu dois savoir de quel tableau je parle car il est dans le fichier d'un autre sujet).

Voici le lien du site:

Jetez un coup d'œil et dit-moi....

A+

bonjour,

Hum... j'ai un peu regardé. Mais c'est un peu gonflant... il y a des trucs irréguliers, des erreurs...

Ce site fait appel à des techniques de codage inhabituelles (pour dissuader les "pompeurs" impénitents ?)

J'ai quand même essayé de récupérer comme j'ai pu...

Je te donne le résultat (en brut de décofrage...)

Tu verras si tu peux en tirer quelque chose.

Bonne soirée.

Bonsoir Galopin01,

Merci et c'est déjà une belle approche

Comme tu le dis, c'est du brut, par contre pourquoi y-a-t-il des idéogrammes, erreur de caractères?

Pour la mise en forme d'un tableau avec ces données, faut-il passer par une Macro ou pas?

Avez-vous une idée?

Je joins le fichier Excel, avec ce que j'ai déjà commencé, présentation du tableau.

Bonne soirée à vous.

Ps: Benead, quand tu auras 5 min, pourrais-tu me dire ce que tu penses de l'autre sujet, mis en lien précédemment, je te sollicite peut-être beaucoup?

Bonsoir Alienox et Galopin,

Galopin, J'ai regardé ton résultat, je pense savoir comment tu as fait.

J'ai regardé de plus près le site et il y a quelque chose que je ne comprends vraiment pas : chez-moi, même avec le navigateur j'ai un méga problème avec tous les caractères accentués sont remplacés par un � et il est impossible de changer le codage de la page. La conversion du texte s'annonce compliquée...

Donc ton bouleau n'est pas si mal compte tenu de la source... Tu devrais réessayer en mettant l'option d'import en html pour conserver un formatage des cellules, notamment le renvoi à la ligne

Chez-vous, c'est aussi un � dans votre navigateur ? Ou un carré blanc dans Internet Explorer ?

Bonjour,

J'ai aussi essayé beaucoup d'autres solutions...

Selon mon avis, (mais je suis loin d'être un expert) ce codage très particulier pourrait être destiné à éviter le "pompage" du site. Ce ne serait que normal : Des gens ont travaillé la dessus peut-être pendant plusieurs années... Ils n'aimeraient peut-être pas retrouver leur travail sous la signature d'un autre...

J'ai réussi en bricolant j'ai réussi à extirper un texte propre mais c'est impossible à faire en VBA.

Voici le mode opératoire en manuel sous IE et W7 :

Aller dans la page voulue.

Faire un clic droit sur la page puis Codage choisir AlphabetOccidental (Windows)

YAPUKA sélectionner tout le texte et Copier

En collant directement dans Word on a un texte correct.

Sous Excel, le mieux est de faire un collage spécial Texte mais Ctrl+V marche également...

Voici un exemple pour MILLEPERTUIS...

MILLEPERTUIS

Nom scientifique : Hypericum perforatum L.

Famille : Hypericaceae

Généralités : Autres appellations : Chasse diable, Herbe percée, Herbe aux piqûres...

Partie utilisée : Sommité fleurie, fraîche ou sèche

Botanique et géographie

Origine : Europe, nombreuses régions tempérées du monde Description botanique : - Plante herbacée commune, poussant sur le bord des chemins - Tige dressée rameuse - Feuilles petites, sessiles, oblongues, ponctuées de noir sur les bords et possédant sur tout le limbe de nombreuses petites poches sécrétrices translucides, visibles par transparence comme des perforations - Fleurs en panicules de type 5, à pétales jaunes bordés de poils glanduleux noirs - Fruits : capsules ovoïdes Récolte : - Au moment de la floraison, de Mai à Septembre

Parties utilisées

- Sommité fleurie, fraîche ou sèche

Constituants

- Huile Essentielle, renfermant du minène et des carbures sesquiterpéniques (0,10 à 0,50 p.cent) - Composés phénoliques : Acides phénols (acides caféique et chlorogénique) Hyperforine (Pigment rouge du groupe des anthrones (naphtodianthrones)) Flavonoides

Propriétés

Par voie externe : - Antiseptique - Astringent : - Cicatrisant vulnéraire (due aux tanins) Par voie interne : - Sédative et antidépressive - Sérotoninergique et mélatoninergique L'hyperforine jouerait un rôle dans l'activité antidépressive

Applications

Justifié par la pharmacologie : - Cicatrisant (ulcères, escarres, brûlures légères, érythèmes) (Extrait de fleurs fraîches en solution huileuse ou alcoolat vulnéraire) - Antidépresseur : Action sérotoninergique. Indication privilégiée dans les dépressions saisonnières. Une méta-analyse (Linde et Mulrow) rapporte les résultats de 27 essais comparant le Millepertuis soit avec un placebo soit avec des traitements actifs. Elle suggère que le Millepertuis est plus efficace qu'un placebo et aussi efficace que les antidépresseurs tricycliques (ATC) à doses faibles dans le traitement de la dépression légère. Son mécanisme d'action semble similaire à celui des antidépresseurs récents ( Inhibition de la recapture de monoamines). Posologie habituelle pour un adulte : - 400 mg par jour d'extrait sec titré à 0,2 p.cent d'hypericine ou formes galéniques équivalentes

Risques

Précautions particulières Applications locales et usage interne : - Eviter l'exposition au soleil car action photosensibilisante (plus marquée avec l'application locale) Risques en association avec la trithérapie, la prise de contraceptifs (possible diminution d'efficacité), la prise d'antidépresseurs inhibiteurs de la recapture de la sérotonine (il faut moduler la posologie en tenant compte de la posologie de l'antidépresseur car le millepertuis potentialise l'inhibiteur) Risques également avec la prise de digoxine (utilisée dans l'insuffisance cardiaque), la théophylline (utilisée dans l'asthme), les anticoagulants oraux, la ciclosporine (utilisée dans la prévention des rejets de greffe) Chez la femme enceinte, en l'absence de preuves d'innocuité, il est déconseillé d'utiliser le millepertuis dans le premier trimestre de la grossesse

Anecdotes

Une des fleurs de la Saint Jean servait à la fabrication du "baume tranquille" qui servait à chasser les démons au Moyen-Âge, traitait les cas de démence

Bon... Avec un peu d'organisation YFOPAPLU d'une demi journée pour importer de la sorte les 300 plantes...

Bon courage !

A+

Bonjour Benead et Galopin01,

Merci pour votre retour, et je vois que ce sujet peut vous servir également....

Donc ok pour l'importation dans Word, je suis pour . en plus cela tombe bien car je l'avais déjà fait pour toutes ces plantes

Donc la question qui suit:

- Est-il possible de Word d'importer dans excel (je pense que oui), via macro et mise en forme du tableau par la suite, comme dans l'exemple joint plus haut?

Merci à vous deux pour tous ces éclaircissements, c'est sympa...

Je trouve ça bien plus simple avec Excel uniquement.

De plus les transitions Word Excel via VBA... ce n'est pas ma tasse de thé !

Pour la mise en forme comme indiquée, hormis les 3 premières colonnes, ça ne me semble pas possible.

J'ai déjà récupéré les 60 derniers (de PLANTAIN jusqu'à la fin) En 1 heure environ... Je dois maintenant m'absenter pour la journée, mais si ça peut t'avancer, ce soir, je peux faire le joint avec ce que tu as déjà fait.

Après pour la mise en forme zarbi... il faudra te débrouiller !

A+

Re,

Merci de ton aide Galopin, Comme tu veux, c'est cool....

Pour la mise en forme comme indiquée, hormis les 3 premières colonnes, ça ne me semble pas possible.

Pourquoi, as-tu une explication?

Après pour la mise en forme zarbi... il faudra te débrouiller !

No souci

De plus les transitions Word Excel via VBA... ce n'est pas ma tasse de thé

Donc tu fais tout par Excel, ok...

J'attends ton retour.

Idem je ne suis pas la aujourd'hui, je te souhaite une bonne journée

A+

Bonjour,

J'ai regardé un truc hier et réussi difficilement, car mes tests faisaient bizarrement planté Excel, cela vient de l'enregistrement d'une macro en même temps qu'on modifie l'encodage de la page web.

Quand on le fait manuellement, il faut ouvrir un classeur en mettant url dans le nom du fichier, ensuite, tout en restant sur la page web, il faut aller dans les options Avancées et modifier les options web en mettant Recharger le document actif en tant que : Alphabet occidental (Windows), cela donne cela en VBA :

Sub OpenWbkWeb()
   With Workbooks.Open("http://www.hippocratus.com/modules/mdc_Fiches_Plantes/detail_plante.php?ID_Plante=oig001")
      .ReloadAs Encoding:=msoEncodingWestern
   End With
End Sub

Du coup, on a toute la page, le texte, les boutons, les textbox... Et les images. Du coup, il serait même possible de récupérer l'image de la plante, mais je ne sais pas comment l'enregistrer en tant que fichier. Si besoin, on verra cela plus tard.

Galopin, si tu as le temps, peux-tu reprendre ta macro et la modifier pour essayer de récupérer les pages en les stockant en tant que feuille dans un classeur et en supprimant tous les objets sauf l'image ? Attention : il faut traiter une page, puis la refermer, car elles portent toutes le même nom de classeur : detail_plante.php

Re à vous,

Ouahh, Benead, c'est du Chia..., vous (toi et Galopin) êtes trop fort.... ...

Du coup, il serait même possible de récupérer l'image de la plante, mais je ne sais pas comment l'enregistrer en tant que fichier. Si besoin, on verra cela plus tard.

Même l'image, plus tard, ok, mais c'est intéressant, car trouver le moyen de l'enregistrer dans mon dossier image serai le sommome, enfin tu vois de quoi je parle Benead, avec mon projet et l'affichage de l'image dans mon userform versus un autre sujet et le nouveau (voir plus haut).

Perso je suis largué, je vous suis mais avec du mal, je suis convaincu que cela est bénéfique pour nous tous...

Et moi dans tout çà, je fais quoi ... Lol

MERCI, les gars pour ce que vous apportez.

A votre futur retour.

A bientôt

Ps: si vous avez des idées pour l'autre sujet, je suis preneur.... car je vois vos capacités dans ce domaine...

Voila déjà le complément de fiches qui te manquaient. mais pour la mise en forme, tu devras te débrouiller...

Pour les images je tacherai de voir mais pas tout de suite.

A+

Bonsoir Alienox et Galopin,

Galopin, la macro n'a pas tournée trop longtemps ?

Sinon il y a un truc de bizarre (le parle au nom d'Alienox) , en colonne K, le texte n'est pas complet... Cela vient peut-être des pages web.

Alienox, je regarderai ton autre post sans doute dans la semaine.