ERG::Code-2020-2 - Historique des versions

Lionel le 22 avril 2021 à 08:36

2021-04-22T08:36:58Z

Voir les modifications

Lionel : /* 01 avril 2021 */

2021-04-01T10:11:35Z

01 avril 2021

Lionel le 1 avril 2021 à 10:05

2021-04-01T10:05:19Z

Lionel le 1 avril 2021 à 08:50

2021-04-01T08:50:41Z

Lionel le 18 mars 2021 à 09:11

2021-03-18T09:11:58Z

Lionel : /* 4 mars 2021 */

2021-03-04T09:13:31Z

4 mars 2021

Lionel le 4 mars 2021 à 08:55

2021-03-04T08:55:18Z

Lionel : /* 25 février 2021 */

2021-02-25T10:53:09Z

25 février 2021

Lionel : /* 25 février 2021 */

2021-02-25T10:24:16Z

25 février 2021

Lionel : /* 25 février 2021 */

2021-02-25T10:22:53Z

25 février 2021

@@ Ligne 23 : / Ligne 23 : @@
      results = []
      cssSelectSelecteurs = cssselect.parse(selecteurs)
-     for(cssSelectSelecteur in cssSelectSelecteurs):
+     for cssSelectSelecteur in cssSelectSelecteurs:
          chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(cssSelectSelecteur, translate_pseudo_elements=True)
-         results.append(src.xpath(chemin_xpath))
+         results = results + src.xpath(chemin_xpath)
      return results
@@ Ligne 99 : / Ligne 99 : @@
 </syntaxhighlight>
 ===18 mars 2021===

@@ Ligne 20 : / Ligne 20 : @@
      return src
-def getResults(src, selecteur):
+def getResults(src, selecteurs):
-     cssSelectSelecteur = cssselect.parse(selecteur)
+     results = []
-     chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(cssSelectSelecteur[0], translate_pseudo_elements=True)
+    cssSelectSelecteurs = cssselect.parse(selecteurs)
-    results = src.xpath(chemin_xpath)
+     for(cssSelectSelecteur in cssSelectSelecteurs):
      return results

← Version précédente		Version du 1 avril 2021 à 08:50
Ligne 3 :		Ligne 3 :

	==Sessions==		==Sessions==
		+	===01 avril 2021===
		+	Programme de récupération de données d'actualité: structure générale
		+	<syntaxhighlight lang="python">
		+	import time
		+	import mechanize
		+	import lxml.html as lh
		+	import cssselect
		+
		+
		+	def getSrcFromURL(url):
		+	data = br.open(url)
		+
		+	rawdata = data.read()
		+	unicode = rawdata.decode('utf-8', 'ignore')
		+	src = lh.fromstring(unicode)
		+	return src
		+
		+	def getResults(src, selecteur):
		+	cssSelectSelecteur = cssselect.parse(selecteur)
		+	chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(cssSelectSelecteur[0], translate_pseudo_elements=True)
		+	results = src.xpath(chemin_xpath)
		+	return results
		+
		+	def getData(htmlElements, operation):
		+	data = []
		+	for element in htmlElements:
		+	if operation == 'get_href':
		+	data.append(element.get('href'))
		+	elif operation == 'text_content':
		+	data.append(element.text_content())
		+	elif operation == 'get_datetime':
		+	data.append(element.get('datetime'))
		+
		+	return data
		+
		+
		+
		+	selecteurs = [
		+	{
		+	'url':'http://lemonde.fr',
		+	'selecteur_links':{'name':'article_link', 'selecteur':'div.article a','operation':'get_href'},
		+	'selecteurs_article':[
		+	{'name': 'titre', 'selecteur': 'article h1', 'operation':'text_content'},
		+	{'name': 'date_pub', 'selecteur': 'span.date_pub', 'operation':'text_content'},
		+	{'name': 'date_modif', 'selecteur': 'span.date_modif', 'operation':'text_content'}
		+	]
		+
		+	},
		+	{
		+	'url':'http://lesoir.be',
		+	'selecteur_links':{'name':'article_link', 'selecteur':'h1 a','operation':'get_href'},
		+	'selecteurs_article':[
		+	{'name': 'titre', 'selecteur': 'article h1', 'operation':'text_content'},
		+	{'name': 'date_pub', 'selecteur': 'span.date_pub', 'operation':'text_content'},
		+	{'name': 'date_modif', 'selecteur': 'span.date_modif', 'operation':'text_content'}
		+	]
		+
		+	}
		+	]
		+
		+	#initialisation d'un objet "navigateur" avec la librairie mechanize
		+	br = mechanize.Browser()
		+
		+	br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
		+
		+	br.set_handle_robots(False)
		+	#fin de la configuration de mechanize
		+
		+
		+
		+	#0: pour chaque source dans le tableau sélecteurs
		+	for source in selecteurs:
		+	#1: récupérer la première page de la source
		+	premierePage = getSrcFromURL(source['url'])
		+	#2: appliquer le sélecteur contenu dans 'selecteur_links'
		+	liensArticles = getResults(premierePage, source['selecteur_links']['selecteur'])
		+	#3: appliquer l'opération sur chaque élément récupéré -> url articles
		+	urlsArticles = getData(liensArticles, source['selecteur_links']['operation'])
		+	#4: pour chaque url article:
		+	#5: récupérer la source de la page désignée par l'url
		+	#6: déclarer un tableau vide qui contiendra les éléments à insérer dans la db -> dataArticle
		+	#7: pour chaque sélecteur contenu dans "selecteurs_article":
		+	#8: appliquer le sélecteur article sur la source de la page
		+	#9: appliquer l'opération sur l'élément récupéré -> donnée
		+	#10: ajouter la donnée au tableau dataArticle
		+	#11: insérer le tableau dans la base de données
		+
		+	print(urlsArticles)
		+	time.sleep(2)
		+
		+
		+
		+	</syntaxhighlight>
		+

	===18 mars 2021===		===18 mars 2021===

← Version précédente		Version du 18 mars 2021 à 09:11
Ligne 3 :		Ligne 3 :

	==Sessions==		==Sessions==
		+
		+	===18 mars 2021===
		+
		+	Exemple de structure de données pour récupérer plusieurs sources
		+
		+	<syntaxhighlight lang="python">
		+	selecteurs = [
		+	{
		+	'url':'http://lemonde.fr',
		+	'selecteur_links':'h1 a',
		+	'selecteurs_article':{
		+	'titre':'article h1',
		+	'date_pub':'span.date_pub',
		+	'date_modif':'span.date_modif'
		+	}
		+
		+	},
		+	{
		+	'url':'http://lesoir.be',
		+	'selecteur_links':'h1 a',
		+	'selecteurs_article':{
		+	'titre':'article h1',
		+	'date_pub':'span.date_pub',
		+	'date_modif':'span.date_modif'
		+	}
		+
		+	}
		+	]
		+
		+	print(selecteurs[0]['selecteurs_article']['date_pub'])
		+	</syntaxhighlight>

@@ Ligne 6 : / Ligne 6 : @@
 ===4 mars 2021===
 <syntaxhighlight lang="python">
 import mechanize
@@ Ligne 63 : / Ligne 250 : @@
          print(row)
 </syntaxhighlight>
 ===25 février 2021===

← Version précédente		Version du 4 mars 2021 à 08:55
Ligne 3 :		Ligne 3 :

	==Sessions==		==Sessions==
		+
		+
		+	===4 mars 2021===
		+
		+	<syntaxhighlight lang="python">
		+	import mechanize
		+
		+	import lxml.html as lh
		+
		+	import cssselect
		+
		+	import ssl
		+
		+	import os
		+
		+	from urllib.parse import urlparse
		+
		+	import mysql.connector as mysql
		+
		+
		+
		+	def getSrcFromURL(url):
		+	data = br.open(url)
		+
		+	rawdata = data.read()
		+	unicode = rawdata.decode('utf-8', 'ignore')
		+	src = lh.fromstring(unicode)
		+	return src
		+
		+	def getResults(src, selecteur):
		+	chemin_xpath = cssselect.HTMLTranslator().selector_to_xpath(selecteur, translate_pseudo_elements=True)
		+	results = src.xpath(chemin_xpath)
		+	return results
		+
		+
		+	#initialisation de l'objet db, interface avec la base de données mysql
		+	db = mysql.connect(
		+	host = "localhost",
		+	user = "root",
		+	passwd = "root",
		+	database = "news_suisse"
		+	)
		+
		+	#SELECT = sélectionner des données
		+	#INSERT = insérer des données
		+	#UPDATE = mettre à jour des données
		+	#DELETE = supprimer des données
		+
		+
		+	#query = "SELECT * FROM article WHERE titre = '%chat%'"
		+
		+	query = "SELECT * FROM article"
		+
		+
		+	with db.cursor() as cursor:
		+	cursor.execute(query)
		+	result = cursor.fetchall()
		+	for row in result:
		+	print(row)
		+	</syntaxhighlight>
		+

	===25 février 2021===		===25 février 2021===

@@ Ligne 40 : / Ligne 40 : @@
 cursor = db.cursor()
 cursor.execute(query)
+db.commit()

ERG::Code-2020-2 - Historique des versions

Lionel le 22 avril 2021 à 08:36

Lionel : /* 01 avril 2021 */

Lionel le 1 avril 2021 à 10:05

Lionel le 1 avril 2021 à 08:50

Lionel le 18 mars 2021 à 09:11

Lionel : /* 4 mars 2021 */

Lionel le 4 mars 2021 à 08:55

Lionel : /* 25 février 2021 */

Lionel : /* 25 février 2021 */

Lionel : /* 25 février 2021 */

Lionel : /* 01 avril 2021 */

Lionel : /* 4 mars 2021 */

Lionel : /* 25 février 2021 */

Lionel : /* 25 février 2021 */

Lionel : /* 25 février 2021 */