{} - Contributions de l’utilisateur [fr]

Etienne Grignon

2021-05-07T19:43:44Z

Etienne :

== Etienne ==

Je me suis fait aider dans mon projet n'ayant pas eu le temps de me pencher plus sur le cours durant cette année scolaire. Mon travail consistait à récupérer des photos d'oiseaux sur le site Oiseaux.net (ici seulement ceux de la première page). Il y a quelques problèmes que je n'ai pas pu résoudre comme celui de récupérer les images des autres pages, ainsi que les images qui ont un autre sélecteur

import mechanize

import lxml.html as lh

import cssselect

import ssl

page = 0
liensOiseaux = []
#initialisation d'un objet "navigateur" avec la librairie mechanize
br = mechanize.Browser()

br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

br.set_handle_robots(False)
#fin de la configuration de mechanize

try:
_create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
# Legacy Python that doesn't verify HTTPS certificates by default
pass
else:
# Handle target environment that doesn't support HTTPS verification
ssl._create_default_https_context = _create_unverified_https_context

data = br.open('https://www.oiseaux.net/photos/photo'+ str(page) +'.html', timeout=10.0)

rawdata = data.read()
unicode = rawdata.decode('utf-8', 'ignore')
src = lh.fromstring(unicode)

selecteurs = cssselect.parse('#galerie a')
chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(selecteurs[0], translate_pseudo_elements=True)
resultats = src.xpath(chemin_xpath)

for resultat in resultats :
lien = resultat.get('href')
lien = lien[1:]
lienUtile = "https://www.oiseaux.net/photos" + lien
liensOiseaux.append(lienUtile)

for loop in range (len(liensOiseaux)):
data = br.open(liensOiseaux[loop], timeout=10.0)
rawdata = data.read()
unicode = rawdata.decode('utf-8', 'ignore')
src = lh.fromstring(unicode)
selecteurs = cssselect.parse('.monimage')
chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(selecteurs[0], translate_pseudo_elements=True)
resultats = src.xpath(chemin_xpath)
for resultat in resultats:
imageUrl = resultat.get('src')
filename = str(loop) +'.jpg'
data = br.open(imageUrl).read()
save = open(filename, 'wb')
save.write(data)
save.close()

== Projet ==

Je souhaite créer une base de données collectant un maximum d’articles sur ma ville de Verrières-le -Buisson dans pleins de journaux différents. Classant les journaux par dates ou types d’événements. J’ai développé une fascination étrange pour ma ville depuis que j’y ai découvert les vidéos d’événements culturelles de celle-ci sur leurs chaîne Youtube.

== Sources ==

http://www.linternaute.com/ville/verrieres-le-buisson/ville-91645

https://www.leparisien.fr/essonne-91/verrieres-le-buisson-91370/

https://www.francebleu.fr/ile-de-france/essonne-91/verrieres-le-buisson-91645

http://randovlb.org/

https://actu.fr/ile-de-france/verrieres-le-buisson_91645

https://www.rnpc.fr/carte-des-centres-rnpc/region-ile-de-france/centre-rnpc-verrieres-le-buisson/

== Structure ==

[[Fichier:Sch%C3%A9ma_programmation.jpg]]

Etienne Grignon

2021-01-19T19:18:29Z

Etienne :

== Etienne ==

== Projet ==

Je souhaite créer une base de données collectant un maximum d’articles sur ma ville de Verrières-le -Buisson dans pleins de journaux différents. Classant les journaux par dates ou types d’événements. J’ai développé une fascination étrange pour ma ville depuis que j’y ai découvert les vidéos d’événements culturelles de celle-ci sur leurs chaîne Youtube.

== Sources ==

http://www.linternaute.com/ville/verrieres-le-buisson/ville-91645

https://www.leparisien.fr/essonne-91/verrieres-le-buisson-91370/

https://www.francebleu.fr/ile-de-france/essonne-91/verrieres-le-buisson-91645

http://randovlb.org/

https://actu.fr/ile-de-france/verrieres-le-buisson_91645

https://www.rnpc.fr/carte-des-centres-rnpc/region-ile-de-france/centre-rnpc-verrieres-le-buisson/

== Structure ==

[[Fichier:Sch%C3%A9ma_programmation.jpg]]

Etienne Grignon

2021-01-19T19:16:46Z

Etienne :

ERG::Code-2020-2

2021-01-19T19:14:02Z

Etienne : /* Pages des étudiant.e.s */

==Introduction==
Ce cours est destiné aux étudiant.e.s de BAC3. Cette année, nous nous concentrons sur les bases de données, définies comme "une collection structurée d'éléments sur laquelle l'utilisateur.trice peut effectuer une série d'opérations: voir, naviguer, chercher" (Lev Manovich, ''Le langage des Nouveaux Médias'').

==Sessions==
===17 décembre 2020===
<syntaxhighlight lang="python">
import mechanize

import lxml.html as lh

import cssselect

import ssl

def getInfos(src, selecteurcss):
selecteur = cssselect.parse(selecteurcss)
chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(selecteur[0], translate_pseudo_elements=True)
resultats = src.xpath(chemin_xpath)
return resultats

#initialisation d'un objet "navigateur" avec la librairie mechanize
br = mechanize.Browser()

br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; Linux x86_64; rv:82.0) Gecko/20100101 Firefox/82.0')]

br.set_handle_robots(False)
#fin de la configuration de mechanize

try:
_create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
# Legacy Python that doesn't verify HTTPS certificates by default
pass
else:
# Handle target environment that doesn't support HTTPS verification
ssl._create_default_https_context = _create_unverified_https_context

data = br.open('https://regards.monuments-nationaux.fr/fr/asset/link/104-technique-s-et-materiau-x/vitrail/page/1', timeout=10.0)

#https://regards.monuments-nationaux.fr/fr/asset/link/104-technique-s-et-materiau-x/vitrail/page/1

#https://regards.monuments-nationaux.fr/fr/asset/link/104-technique-s-et-materiau-x/vitrail/page/1

#https://regards.monuments-nationaux.fr/fr/asset/link/104-technique-s-et-materiau-x/vitrail/page/2

#br.follow_link(text_regex=r"cheese\s*shop", nr=1)
#data = br.follow_link(url=r"/lesgrandsclassiques/Poemes", nr=0)

rawdata = data.read()

unicode = rawdata.decode('utf-8', 'ignore')
src = lh.fromstring(unicode)

thumbnails = getInfos(src, 'span.thumbnail_url')
descriptions = getInfos(src, 'span.asset-descr')

</syntaxhighlight>

===10 décembre 2020===
<syntaxhighlight lang="python">
import re

#on part de l'url de la thumbnail: https://regards.monuments-nationaux.fr//thumbnails/00000000100/gmw20_0194.thw
#et l'url du lien pour le zoom: fr/asset/id/99816/tour-de-la-lanterne-lanterne-vitraux/fromSearch/1/initiatorAction/metadataInternalLink/mosaicCount/2877/thumbIndex/0
#on veut arriver à ça: https://regards.monuments-nationaux.fr/fr/asset/assetFile/id/99816/size/3/type/1/filename/CMN_gmw20_0194

thumbnailURL = input('Entrer l\'url de la thumbnail')
linkURL = input('Entrer l\'url du lien')

#thumbnailURL = 'https://regards.monuments-nationaux.fr//thumbnails/00000000100/gmw20_0194.thw'
#linkURL = 'fr/asset/id/99816/tour-de-la-lanterne-lanterne-vitraux/fromSearch/1/initiatorAction/metadataInternalLink/mosaicCount/2877/thumbIndex/0'

#de l'url du lien on récupère l'id grâce à une expression régulière
searchObj = re.search( r'id/([0-9]+)/', linkURL )
id = searchObj.group(1)

#https://regards.monuments-nationaux.fr//thumbnails/00000000100/gmw20_0194.thw
#de l'url de la thumbnail on récupère le nom du fichier sans l'extension
searchObj = re.search( r'/([^/]*)\.thw', thumbnailURL )
fileName = searchObj.group(1)

finalURL = 'https://regards.monuments-nationaux.fr/fr/asset/assetFile/id/'+id+'/size/3/type/1/filename/'+fileName
print('Attention voici l\'URL de l\'image! ' + finalURL)

</syntaxhighlight>
===03 décembre 2020===
<syntaxhighlight lang="python">
#un programme qui récupère les données contenues dans les sélecteurs css suivants:
#article h1, div.lead, div.gr-media-image img, div.gr-article-content à partir d'une page d'article de lesoir.be

import mechanize

import lxml.html as lh

import cssselect

import ssl

#initialisation d'un objet "navigateur" avec la librairie mechanize
br = mechanize.Browser()

br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

br.set_handle_robots(False)
#fin de la configuration de mechanize

try:
_create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
# Legacy Python that doesn't verify HTTPS certificates by default
pass
else:
# Handle target environment that doesn't support HTTPS verification
ssl._create_default_https_context = _create_unverified_https_context

data = br.open('https://www.lesoir.be/340088/article/2020-11-26/reouverture-des-commerces-fetes-ce-qui-sera-discute-par-le-comite-de', timeout=10.0)

#print(data.read())
#br.follow_link(text_regex=r"cheese\s*shop", nr=1)
#data = br.follow_link(url=r"/lesgrandsclassiques/Poemes", nr=0)

rawdata = data.read()
unicode = rawdata.decode('utf-8', 'ignore')
src = lh.fromstring(unicode)

#on convertit un sélecteur css en objets de type "cssselector"
selecteurs = cssselect.parse('article h1, article h2')
# 0
#[selecteur1, selecteur2]

#[selecteur de type cssselect]

for selecteur in selecteurs:
chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(selecteur, translate_pseudo_elements=True)
resultats = src.xpath(chemin_xpath)
for resultat in resultats:
print(resultat.text_content())
</syntaxhighlight>
===26 novembre 2020===
<syntaxhighlight lang="python">
#un programme qui récupère les données contenues dans les sélecteurs css suivants:
#article h1, div.lead, div.gr-media-image img, div.gr-article-content à partir d'une page d'article de lesoir.be

import mechanize

import lxml.html as lh

import cssselect

#initialisation d'un objet "navigateur" avec la librairie mechanize
br = mechanize.Browser()

br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

br.set_handle_robots(False)
#fin de la configuration de mechanize

data = br.open('https://www.lesoir.be/340088/article/2020-11-26/reouverture-des-commerces-fetes-ce-qui-sera-discute-par-le-comite-de', timeout=10.0)

print(data.read())
</syntaxhighlight>
<syntaxhighlight lang="python">
#un programme qui récupère les données contenues dans les sélecteurs css suivants:
#article h1, div.lead, div.gr-media-image img, div.gr-article-content à partir d'une page d'article de lesoir.be

import mechanize

import lxml.html as lh

import cssselect

import ssl

#initialisation d'un objet "navigateur" avec la librairie mechanize
br = mechanize.Browser()

br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

br.set_handle_robots(False)
#fin de la configuration de mechanize

try:
_create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
# Legacy Python that doesn't verify HTTPS certificates by default
pass
else:
# Handle target environment that doesn't support HTTPS verification
ssl._create_default_https_context = _create_unverified_https_context

data = br.open('https://www.lesoir.be/340088/article/2020-11-26/reouverture-des-commerces-fetes-ce-qui-sera-discute-par-le-comite-de', timeout=10.0)

#print(data.read())
#br.follow_link(text_regex=r"cheese\s*shop", nr=1)
#data = br.follow_link(url=r"/lesgrandsclassiques/Poemes", nr=0)

rawdata = data.read()
unicode = rawdata.decode('utf-8', 'ignore')
src = lh.fromstring(unicode)

#une liste en python
# 0 1 2
liste = ['coucou', 'pouetpouet', 'byebye']

print(liste[2])

selecteurs = cssselect.parse('article h1')
#[selecteur de type cssselect]
chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(selecteurs[0], translate_pseudo_elements=True)
#selecteur de type xpath

resultats = src.xpath(chemin_xpath)
# 0
#[html element]
print(resultats[0].text_content())
</syntaxhighlight>

== Formation HTML/CSS utile en complément du cours ici : ==

https://www.youtube.com/watch?v=Y80juYcu3ZI&list=PLwLsbqvBlImHG5yeUCXJ1aqNMgUKi1NK3

===19 novembre 2020===

====html et css====
<syntaxhighlight lang="html5">
<!doctype html>
<html>
<head>
<meta charset="utf-8">
<title>Sélecteurs css</title>
<link href="styles.css" rel="stylesheet" type="text/css">
</head>
<body>
<section id="actualite">
<h1>Ma section actualité</h1>
<article class="breve">
<header>Chapeau de l'article</header>
<div>
Contenu de l'article <a href="http://www.curlybraces.be">Un lien vers un site</a>
<h3>Sous-titre de l'article</h3>
<time>13:00</time>
<time>13:00</time>
<time data-type="begin-hour">15:00</time>

</div>
<footer>Footer de l'article</footer>
</article>
<article class="article-full">
<header>Chapeau de l'article 2</header>
<div>
Contenu de l'article 2 <a href="http://www.curlybraces.be">Un lien vers un site</a>

</div>
<footer>Footer de l'article 2</footer>
</article>
<article class="article-full">
<header>Chapeau de l'article 3</header>
<div>
Contenu de l'article 3 <a href="http://www.curlybraces.be">Un lien vers un site</a>

</div>
<footer>Footer de l'article 3</footer>
</article>
</section>

<section id="archives">
<h1>Ma section Archives</h1>
<article class="breve">
<header>Chapeau de l'article</header>
<div>
Contenu de l'article <a href="http://www.curlybraces.be">Un lien vers un site</a>

</div>
<footer>Footer de l'article</footer>
</article>
</section>
</body>
</html>

</syntaxhighlight>

<syntaxhighlight lang="css">
/*pointeur css vers balise html*/
html, body{
margin:0;
padding:0;
}
h1{
font-family:Helvetica, Arial, sans-serif;
font-weight:normal;
margin:10px;
padding:10px;
border:1px solid black;
}
/*pointeur css vers un ID*/
section#archives{
background-color:gray;
}

article{
border-bottom:1px solid black;
}
/*pointeur css vers une classe*/
.breve{
font-size:48pt;
border-bottom:2px solid black;
}
.article-full{
font-size:16pt;
}
/* pointeur css avec chemin */
section#actualite a{
color:green;
}
section#actualite article.article-full a{
color:red;
}
/* pointeur css avec chemin vers un enfant précis d'une balise */
section#actualite article.article-full:nth-child(3) a{
color:pink;
}

/*pointeur css avec un chemin vers un élément qui suit directement un autre élément*/
h3+time{
background:green;
}

time[data-type='begin-hour']{
background:blue;
}

</syntaxhighlight>

====Librairies Python====
* pour naviguer:
** pycurl (http://pycurl.io/)
** urllib2 (https://docs.python.org/2/library/urllib2.html)
** requests (https://requests.readthedocs.io/en/master/)
** mechanize (https://mechanize.readthedocs.io/en/latest/index.html)
* pour parser:
** beautifulsoup (https://www.crummy.com/software/BeautifulSoup/bs4/doc/)
** lxml (https://lxml.de/xpathxslt.html)
** cssselect (https://cssselect.readthedocs.io/en/latest/)

*User agent :
**What is my browser (https://www.whatismybrowser.com/guides/the-latest-user-agent/firefox)
<syntaxhighlight lang="python">
#!/usr/bin/python
# -*- coding: utf-8 -*-

import mechanize
import lxml.html as lh
import cssselect

br = mechanize.Browser()
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
br.set_handle_robots(False)
data = br.open('https://poesie.webnet.fr/lesgrandsclassiques/Authors/B', timeout=10.0)

#br.follow_link(text_regex=r"cheese\s*shop", nr=1)

#data = br.follow_link(url=r"/lesgrandsclassiques/Poemes", nr=0)

rawdata = data.read()
unicode = rawdata.decode('utf-8', 'ignore')
src = lh.fromstring(unicode)

for selector in cssselect.parse('.author-list__link'):
expression = cssselect.HTMLTranslator().selector_to_xpath(selector, translate_pseudo_elements=True)
for result in src.xpath(expression):
print(result.text_content())
print(result.get('href'))
</syntaxhighlight>

==Pages des étudiant.e.s==
[[Utilisateur:Simon BLONDEAU|Simon Blondeau]]

[[Page de William]]

[[Mondher]]

[[Lea]]

[[MP Antoin]]

[[Utilisateur:Pierreetheve|Pierre Ethève]]

[[Utilisateur:Chloé|Chloé]]

[[Jonquille]]

[[margot]]

[[Léo]]

[[César]]

[[Utilisateur:arthurlafontaine|Arthur Lafontaine]]

[[Etienne Grignon]]

==Déroulement du cours==
Le cours ne nécessite aucun prérequis si ce n'est une capacité d'attention pendant les séances. Cette attention implique qu'à certains moments, par exemple lors des moments de discussions ou de présentations, il sera demandé aux étudiant.e.s de fermer leur ordinateur, que l'usage des smartphones est interdit et que les étudiant.e.s doivent arriver à l'heure au cours (9h, le lundi matin).

Comme il s'agit d'un cours technique, les travaux se feront majoritairement en classe et il n'est pas absolument nécessaire de travailler en dehors du cours, à part pour documenter les travaux ou préparer leurs présentations (les cotations).

Le cours fonctionne en évaluation continue, ce qui signifie que chaque exercice réalisé en atelier aura une note attribuée. Pour réussir le cours, il faut essentiellement être présent.e.

À cette évaluation continue s'ajoute deux notes en décembre et en mai qui correspondent aux moments de cotations. Il est demandé pour ces cotations de présenter une sélection des travaux réalisés jusque là.

La difficulté technique, bien que présente, ne doit pas constituer une barrière pour assister au cours. Il ne sera pas demandé aux étudiant.e.s d'être performant.e.s mais plutôt de ne pas se braquer et d'accepter d'être inefficaces durant des périodes qui semblent parfois longues (voire trouver du plaisir dans ces périodes de recherches). L'entraide et le partage sont encouragés. Tout sera fait pour éviter des comportements de mise à distance du savoir entre celles et ceux "qui savent" et les "newbies".

Chaque étudiant.e a accès à ce wiki, qui servira durant toute l'année à documenter les travaux. La création des comptes pour le wiki se fait au début du deuxième cours (au moment de l'inscription au cours).

Fichier:Schéma programmation.jpg

2021-01-19T19:11:21Z

Etienne :

Etienne Grignon

2021-01-19T19:08:43Z

Etienne : Page créée avec « == Etienne == == Projet == Je souhaite créer une base de données collectant un maximum d’articles sur ma ville de Verrières-le -Buisson dans pleins de journaux... »