Utilisateur:Simon BLONDEAU - Historique des versions

Simon BLONDEAU le 24 avril 2021 à 13:06

2021-04-24T13:06:52Z

Simon BLONDEAU le 18 février 2021 à 10:51

2021-02-18T10:51:57Z

Simon BLONDEAU le 18 février 2021 à 10:50

2021-02-18T10:50:52Z

Simon BLONDEAU : /* Schéma du script */

2020-12-17T09:48:26Z

Schéma du script

Simon BLONDEAU le 17 décembre 2020 à 08:40

2020-12-17T08:40:12Z

Simon BLONDEAU le 15 octobre 2020 à 09:07

2020-10-15T09:07:18Z

Simon BLONDEAU : /* base de données */

2020-10-01T09:32:23Z

base de données

Simon BLONDEAU : /* base de données */

2020-10-01T09:28:07Z

base de données

Simon BLONDEAU : /* base de données */

2020-10-01T09:22:23Z

base de données

Simon BLONDEAU : /* base de données */

2020-10-01T09:22:05Z

base de données

← Version précédente		Version du 24 avril 2021 à 13:06
Ligne 484 :		Ligne 484 :
	print(resultat.text_content())		print(resultat.text_content())
	</syntaxhighlight>		</syntaxhighlight>
		+
		+	=Reprise du projet de base de données de vitraux=
		+
		+	j'ai tenté de recuperer sur un site du tourisme du jura suisse les images des vitraux qui étaient présent dessus grâce au programme suivant.
		+
		+	<syntaxhighlight lang="python">
		+	#un programme qui récupère les données contenues dans les sélecteurs css suivants à partir d'une page d'article de lecourrier.ch
		+	#article h1, article h2, article h3, article p et article time
		+
		+	import mechanize
		+
		+	import lxml.html as lh
		+
		+	import cssselect
		+
		+	import ssl
		+
		+	import os
		+
		+	from urllib.parse import urlparse
		+
		+	import json
		+
		+	import re
		+
		+	def getSrcFromURL(url):
		+	data = br.open(url)
		+
		+	rawdata = data.read()
		+	unicode = rawdata.decode('utf-8', 'ignore')
		+	src = lh.fromstring(unicode)
		+	return src
		+
		+	def getResults(src, selecteur):
		+	chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(selecteur, translate_pseudo_elements=True)
		+	results = src.xpath(chemin_xpath)
		+	return results
		+
		+	#initialisation de l'objet db, interface avec la base de données mysql
		+	db = mysql.connect(
		+	host = "localhost",
		+	user = "root",
		+	passwd = "root",
		+	database = "Vitrail"
		+	)
		+
		+	#SELECT = sélectionner des données
		+	#INSERT = insérer des données
		+	#UPDATE = mettre à jour des données
		+	#DELETE = supprimer des données
		+
		+	#initialisation d'un objet "navigateur" avec la librairie mechanize
		+	br = mechanize.Browser()
		+
		+	br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
		+
		+	br.set_handle_robots(False)
		+	#fin de la configuration de mechanize
		+
		+	try:
		+	_create_unverified_https_context = ssl._create_unverified_context
		+	except AttributeError:
		+	# Legacy Python that doesn't verify HTTPS certificates by default
		+	pass
		+	else:
		+	# Handle target environment that doesn't support HTTPS verification
		+	ssl._create_default_https_context = _create_unverified_https_context
		+
		+
		+
		+	src = getSrcFromURL('https://www.j3l.ch/fr/Z10792/vitraux_1552925653?bounds=6.84388+47.02175+7.46940+47.50228')
		+
		+
		+	#on convertit un sélecteur css en objets de type "cssselector"
		+	selecteurs = cssselect.parse('#list-data')
		+
		+	selecteursImages = cssselect.parse('div.Image img')
		+
		+	i = 0
		+
		+	for selecteur in selecteurs:
		+
		+	print(selecteur)
		+
		+	resultats = getResults(src, selecteur)
		+
		+	for resultat in resultats:
		+	data = json.loads(resultat.text_content())
		+	for element in data['features']:
		+
		+	print(element['properties']['link'])
		+
		+	elementSrc = getSrcFromURL('https://www.j3l.ch'+element['properties']['link'])
		+
		+	selecteurs2 = cssselect.parse('div.richtext p, ul.m-fact-list__list__list li')
		+	selecteursImages = cssselect.parse('div.swiper-wrapper div div.Image img')
		+
		+	for selecteur2 in selecteurs2:
		+	print(selecteur2)
		+	resultats2 = getResults(elementSrc, selecteur2)
		+	for resultat2 in resultats2:
		+	print(resultat2.text_content())
		+
		+	for selecteur in selecteursImages:
		+	print(selecteur)
		+	chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(selecteur, translate_pseudo_elements=True)
		+	resultats = elementSrc.xpath(chemin_xpath)
		+
		+	for resultat in resultats:
		+
		+	l = resultat.get('data-sizes')
		+	sizes = l.split(' ')
		+	size = sizes[0]
		+	imageUrl = re.sub(r'[0-9]+x[0-9]+:', '', size)
		+	print('downloading'+imageUrl)
		+	filename = 'img'+str(i)+'.jpg'
		+	data = br.open(imageUrl).read()
		+
		+	save = open(filename, 'wb')
		+	save.write(data)
		+	save.close()
		+
		+	i = i + 1
		+	break
		+
		+
		+	cursor = db.cursor()
		+	cursor.execute(query)
		+	db.commit()
		+	</syntaxhighlight>
		+
		+	===résumé du projet===
		+	Le but avec ce programme étant de pouvoir rentrer les images dans une base de données afin de pouvoir grâce à un réseau de neurones, créer un vitrail médian entre toute les entrées.
		+	Le choix au début se portait sur la base de données des vitraux de France sur le site des monuments français. Malheureusement, ce fut impossible de pouvoir accéder à la suite du site et nous n'arrivions qu'a récupérer les quelques images de la première page.
		+	C'est pourquoi nous avons finalement fait le choix de partir sur le site du tourisme du jura suisse qui référence lui aussi ses vitraux. l'autre problème c'est que la base de données est pauvre et n'est composée que d'une vingtaine d'entrée différente. Je ne sais pas si ça aurait suffit pour qu'un réseau de neurones produise quelque chose avec le deep learning.

@@ Ligne 333 : / Ligne 333 : @@
 ===le matin===
-<syntaxhighlight lang="html5">
+<syntaxhighlight lang="python">
 #un programme qui récupère les données contenues dans les sélecteurs css suivants à partir d'une page d'article de lematin.ch
@@ Ligne 410 : / Ligne 410 : @@
 ===20 minutes===
-<syntaxhighlight lang="html5">
+<syntaxhighlight lang="python">
 #un programme qui récupère les données contenues dans les sélecteurs css suivants à partir d'une page d'article de 20min.ch

← Version précédente		Version du 18 février 2021 à 10:50
Ligne 328 :		Ligne 328 :
	==Schéma du script==		==Schéma du script==
	[[Fichier:schema_simon_3.png]]		[[Fichier:schema_simon_3.png]]
		+
		+	=Script journalistique Mondher 2eme quadri=
		+
		+	===le matin===
		+
		+	<syntaxhighlight lang="html5">
		+	#un programme qui récupère les données contenues dans les sélecteurs css suivants à partir d'une page d'article de lematin.ch
		+
		+	import mechanize
		+
		+	import lxml.html as lh
		+
		+	import cssselect
		+
		+	import ssl
		+
		+	import os
		+
		+	from urllib.parse import urlparse
		+
		+
		+	def getSrcFromURL(url):
		+	data = br.open(url)
		+
		+	rawdata = data.read()
		+	unicode = rawdata.decode('utf-8', 'ignore')
		+	src = lh.fromstring(unicode)
		+	return src
		+
		+	def getResults(src, selecteur):
		+	chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(selecteur, translate_pseudo_elements=True)
		+	results = src.xpath(chemin_xpath)
		+	return results
		+
		+	#initialisation d'un objet "navigateur" avec la librairie mechanize
		+	br = mechanize.Browser()
		+
		+	br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
		+
		+	br.set_handle_robots(False)
		+	#fin de la configuration de mechanize
		+
		+	try:
		+	_create_unverified_https_context = ssl._create_unverified_context
		+	except AttributeError:
		+	# Legacy Python that doesn't verify HTTPS certificates by default
		+	pass
		+	else:
		+	# Handle target environment that doesn't support HTTPS verification
		+	ssl._create_default_https_context = _create_unverified_https_context
		+
		+
		+
		+
		+	#data = br.open('https://www.lacote.ch/articles/sports/tennis/tennis-open-d-australie-belinda-bencic-se-qualifie-pour-le-troisieme-tour-1043578', timeout=10.0)
		+
		+	src = getSrcFromURL('https://www.lematin.ch/')
		+
		+	#on convertit un sélecteur css en objets de type "cssselector"
		+	selecteurs = cssselect.parse('article a')
		+
		+
		+	for selecteur in selecteurs:
		+	print(selecteur)
		+	articleLinks = getResults(src, selecteur)
		+
		+	for articleLink in articleLinks:
		+	print (articleLink.get('href'))
		+	src = getSrcFromURL(articleLink.get('href'))
		+
		+	selecteursArticle = cssselect.parse('div.Article_elementTitle__3we9B h1, div.Article_elementLead__2nNxU h2, h3, div.Article_elementTextblockarray__WdRYM p, .sc-17d1f6z-1.gBPCId')
		+
		+	for selecteurArticle in selecteursArticle:
		+	print(selecteurArticle)
		+	resultats = getResults(src, selecteurArticle)
		+
		+	for resultat in resultats:
		+	print(resultat.text_content())
		+	</syntaxhighlight>
		+
		+	===20 minutes===
		+
		+	<syntaxhighlight lang="html5">
		+	#un programme qui récupère les données contenues dans les sélecteurs css suivants à partir d'une page d'article de 20min.ch
		+
		+	import mechanize
		+
		+	import lxml.html as lh
		+
		+	import cssselect
		+
		+	import ssl
		+
		+	import os
		+
		+	from urllib.parse import urlparse
		+
		+
		+	def getSrcFromURL(url):
		+	data = br.open(url)
		+
		+	rawdata = data.read()
		+	unicode = rawdata.decode('utf-8', 'ignore')
		+	src = lh.fromstring(unicode)
		+	return src
		+
		+	def getResults(src, selecteur):
		+	chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(selecteur, translate_pseudo_elements=True)
		+	results = src.xpath(chemin_xpath)
		+	return results
		+
		+	#initialisation d'un objet "navigateur" avec la librairie mechanize
		+	br = mechanize.Browser()
		+
		+	br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
		+
		+	br.set_handle_robots(False)
		+	#fin de la configuration de mechanize
		+
		+	try:
		+	_create_unverified_https_context = ssl._create_unverified_context
		+	except AttributeError:
		+	# Legacy Python that doesn't verify HTTPS certificates by default
		+	pass
		+	else:
		+	# Handle target environment that doesn't support HTTPS verification
		+	ssl._create_default_https_context = _create_unverified_https_context
		+
		+
		+
		+
		+	#data = br.open('https://www.lacote.ch/articles/sports/tennis/tennis-open-d-australie-belinda-bencic-se-qualifie-pour-le-troisieme-tour-1043578', timeout=10.0)
		+
		+	src = getSrcFromURL('https://www.20min.ch/fr/suisse-romande')
		+
		+	#on convertit un sélecteur css en objets de type "cssselector"
		+	selecteurs = cssselect.parse('article a')
		+
		+
		+	for selecteur in selecteurs:
		+	print(selecteur)
		+	articleLinks = getResults(src, selecteur)
		+
		+	for articleLink in articleLinks:
		+	print (articleLink.get('href'))
		+	src = getSrcFromURL(articleLink.get('href'))
		+
		+	selecteursArticle = cssselect.parse('div.Article_elementTitle__3we9B h1, div.Article_elementLead__2nNxU h2, h3, div.Article_elementTextblockarray__WdRYM p, .sc-17d1f6z-1.gBPCId')
		+
		+	for selecteurArticle in selecteursArticle:
		+	print(selecteurArticle)
		+	resultats = getResults(src, selecteurArticle)
		+
		+	for resultat in resultats:
		+	print(resultat.text_content())
		+	</syntaxhighlight>

← Version précédente		Version du 17 décembre 2020 à 09:48
Ligne 327 :		Ligne 327 :

	==Schéma du script==		==Schéma du script==
−	[[Fichier:~~Schema-2~~.png]]	+	[[Fichier:schema_simon_3.png]]

← Version précédente		Version du 17 décembre 2020 à 08:40
Ligne 325 :		Ligne 325 :

	[[Fichier:Schéma Simon.png]]		[[Fichier:Schéma Simon.png]]
		+
		+	==Schéma du script==
		+	[[Fichier:Schema-2.png]]

← Version précédente		Version du 15 octobre 2020 à 09:07
Ligne 321 :		Ligne 321 :
	Site regroupant les événements à venir sur Bruxelles et les expositions. Les événements sont annoncés et classé sur la page de manière chronologique mais des catégories d'événements sont aussi présentes ce qui permet de faire quelques recherches pour trouver quelque chose de plus précis que juste un événements (type soirée, workshop, expo, cours etc..).		Site regroupant les événements à venir sur Bruxelles et les expositions. Les événements sont annoncés et classé sur la page de manière chronologique mais des catégories d'événements sont aussi présentes ce qui permet de faire quelques recherches pour trouver quelque chose de plus précis que juste un événements (type soirée, workshop, expo, cours etc..).
	Le site n'est malheureusement plus actif depuis juin apparement mais les archives sont toujours là pour montrer ce qu'il y a eu auparavant.		Le site n'est malheureusement plus actif depuis juin apparement mais les archives sont toujours là pour montrer ce qu'il y a eu auparavant.
		+
		+	==Schéma==
		+
		+	[[Fichier:Schéma Simon.png]]

← Version précédente		Version du 1 octobre 2020 à 09:32
Ligne 315 :		Ligne 315 :

	Page sur laquelle est publié toute sorte d'oeuvre produite par des artistes se revendiquant du courant numérique du Glitch. Cette page se traduit maintenant en regroupement de contenu artistique numérique. C'est plus du partage de contenu que réellement une base de données. Mais c'est une base de donnée classé par artistes et par dates qui se présente devant nous sans qualification concrète du contenu excepté le fait que les artistes se revendique du même courant.		Page sur laquelle est publié toute sorte d'oeuvre produite par des artistes se revendiquant du courant numérique du Glitch. Cette page se traduit maintenant en regroupement de contenu artistique numérique. C'est plus du partage de contenu que réellement une base de données. Mais c'est une base de donnée classé par artistes et par dates qui se présente devant nous sans qualification concrète du contenu excepté le fait que les artistes se revendique du même courant.
		+
		+
		+	https://feu.ultravnr.be/
		+
		+	Site regroupant les événements à venir sur Bruxelles et les expositions. Les événements sont annoncés et classé sur la page de manière chronologique mais des catégories d'événements sont aussi présentes ce qui permet de faire quelques recherches pour trouver quelque chose de plus précis que juste un événements (type soirée, workshop, expo, cours etc..).
		+	Le site n'est malheureusement plus actif depuis juin apparement mais les archives sont toujours là pour montrer ce qu'il y a eu auparavant.

← Version précédente		Version du 1 octobre 2020 à 09:28
Ligne 310 :		Ligne 310 :
	Mélange entre base de données et réseau social. Nécessite une inscription pour l'utilisation et le marketing de l'application (car c'est aussi et surtout une application sur smartphone) suggère une application sociale avec leur slogan "Drink Socially". Le site est de même nature que google avis, trip advisor, yelp ou tout autre service de conseil entre utilisateur et où ces derniers s'improvise spécialiste.		Mélange entre base de données et réseau social. Nécessite une inscription pour l'utilisation et le marketing de l'application (car c'est aussi et surtout une application sur smartphone) suggère une application sociale avec leur slogan "Drink Socially". Le site est de même nature que google avis, trip advisor, yelp ou tout autre service de conseil entre utilisateur et où ces derniers s'improvise spécialiste.
	celui-ci est spécialisé dans le référencement de bar/brasserie/bière et donc de leurs catégorisation. Les tenanciers des bars et des brasserie peuvent y entrer leurs produits avec toutes les caractéristiques (degrés d'alcool, niveau d'amertume, houblon et malt utilisé, etc...) et les utilisateurs peuvent les noter et les reclasser en fonction de leurs appréciations.		celui-ci est spécialisé dans le référencement de bar/brasserie/bière et donc de leurs catégorisation. Les tenanciers des bars et des brasserie peuvent y entrer leurs produits avec toutes les caractéristiques (degrés d'alcool, niveau d'amertume, houblon et malt utilisé, etc...) et les utilisateurs peuvent les noter et les reclasser en fonction de leurs appréciations.
		+
		+
		+	https://www.facebook.com/groups/Glitchcollective
		+
		+	Page sur laquelle est publié toute sorte d'oeuvre produite par des artistes se revendiquant du courant numérique du Glitch. Cette page se traduit maintenant en regroupement de contenu artistique numérique. C'est plus du partage de contenu que réellement une base de données. Mais c'est une base de donnée classé par artistes et par dates qui se présente devant nous sans qualification concrète du contenu excepté le fait que les artistes se revendique du même courant.

@@ Ligne 308 : / Ligne 308 : @@
 https://untappd.com/
-Mélange entre base de données et réseau social. Nécessite une inscription pour l'utilisation et le marketing de l'application (car c'est aussi et surtout une application sur smartphone) suggère une application sociale avec leur slogan "Drink Socially". le site est de même nature que google avis, trip advisor, yelp ou tout autre service de conseil entre utilisateur et où ces derniers s'improvise spécialiste.
+Mélange entre base de données et réseau social. Nécessite une inscription pour l'utilisation et le marketing de l'application (car c'est aussi et surtout une application sur smartphone) suggère une application sociale avec leur slogan "Drink Socially". Le site est de même nature que google avis, trip advisor, yelp ou tout autre service de conseil entre utilisateur et où ces derniers s'improvise spécialiste.
 celui-ci est spécialisé dans le référencement de bar/brasserie/bière et donc de leurs catégorisation. Les tenanciers des bars et des brasserie peuvent y entrer leurs produits avec toutes les caractéristiques (degrés d'alcool, niveau d'amertume, houblon et malt utilisé, etc...) et les utilisateurs peuvent les noter et les reclasser en fonction de leurs appréciations.

Utilisateur:Simon BLONDEAU - Historique des versions

Simon BLONDEAU le 24 avril 2021 à 13:06

Simon BLONDEAU le 18 février 2021 à 10:51

Simon BLONDEAU le 18 février 2021 à 10:50

Simon BLONDEAU : /* Schéma du script */

Simon BLONDEAU le 17 décembre 2020 à 08:40

Simon BLONDEAU le 15 octobre 2020 à 09:07

Simon BLONDEAU : /* base de données */

Simon BLONDEAU : /* base de données */

Simon BLONDEAU : /* base de données */

Simon BLONDEAU : /* base de données */

Simon BLONDEAU : /* Schéma du script */

Simon BLONDEAU : /* base de données */

Simon BLONDEAU : /* base de données */

Simon BLONDEAU : /* base de données */

Simon BLONDEAU : /* base de données */