ERG::Code-2019-2 - Historique des versions

LenaS : /* 05/03/2020: twitter bots: on avance */

2020-05-10T10:31:17Z

05/03/2020: twitter bots: on avance

Lionel : /* 16/04/2020 */

2020-04-16T10:08:53Z

16/04/2020

Lionel le 16 avril 2020 à 09:56

2020-04-16T09:56:17Z

Lionel le 12 mars 2020 à 08:20

2020-03-12T08:20:12Z

Lionel : /* =05/03/2020: twitter bots: on avance */

2020-03-05T09:16:58Z

=05/03/2020: twitter bots: on avance

Lionel : /* =05/03/2020: tomtom api */

2020-03-05T09:16:22Z

=05/03/2020: tomtom api

Lionel : /* Séances */

2020-03-05T09:05:57Z

Séances

Lionel : /* 20/02/2020: web scraping */

2020-02-20T10:50:10Z

20/02/2020: web scraping

Lionel : /* 20/02/2020: web scraping */

2020-02-20T09:48:49Z

20/02/2020: web scraping

Zoe.vds : /* 20/02/2020: web scraping */

2020-02-20T08:57:10Z

20/02/2020: web scraping

@@ Ligne 85 : / Ligne 85 : @@
 apiURL      = "https://api.tomtom.com/search/2/geocode"
 # apiKey
 adresse   = quote("87 rue du Page, Bruxelles")

@@ Ligne 22 : / Ligne 22 : @@
 ==Séances==
 ===16/04/2020===
 <syntaxhighlight lang="python">
 import datetime

@@ Ligne 21 : / Ligne 21 : @@
 ==Séances==
 ===05/03/2020: twitter bots: on avance===
 <syntaxhighlight lang="python">

@@ Ligne 21 : / Ligne 21 : @@
 ==Séances==
-===05/03/2020: twitter bots: on avance==
+===05/03/2020: twitter bots: on avance===
 <syntaxhighlight lang="python">
 #!/usr/bin/python

@@ Ligne 55 : / Ligne 55 : @@
 </syntaxhighlight>
-<code>
+<pre>
 #0 ON Récupère le fichier json et on le convertit en tableau
@@ Ligne 66 : / Ligne 66 : @@
 #à la fin, on enregistre le tableau dans un fichier json externe
-</code>
+</pre>
 ===20/02/2020: web scraping===

← Version précédente		Version du 20 février 2020 à 10:50
Ligne 75 :		Ligne 75 :
	print(link.text_content())		print(link.text_content())

		+	</syntaxhighlight>
		+	<syntaxhighlight lang="python">
		+	#!/usr/bin/python
		+	# -- coding: utf-8 --
		+
		+	import mechanize
		+	import lxml.html as parser
		+	import cssselect
		+	import random
		+
		+	def getHtmlTree(url):
		+	### on récupère le code source de la page
		+	data = br.open(url, timeout=10)
		+
		+	#print(data.read())
		+
		+	#02. parser la source pour récupérer les liens
		+	source = data.read()
		+
		+	#unicode_src = source.decode('utf-8', 'ignore')
		+
		+	tree = parser.fromstring(source)
		+
		+	return tree
		+
		+	def getRandomLink(url, cssSelector):
		+	tree = getHtmlTree(url)
		+
		+	##pour chaque objet de type selector déduit du sélecteur css
		+	for selector in cssselect.parse(cssSelector):
		+	##on convertit l'objet selector en xpath
		+	xpath_selector = cssselect.HTMLTranslator().selector_to_xpath(selector)
		+	##pour chaque lien trouvé par ce xpath
		+	links = tree.xpath(xpath_selector)
		+
		+	return random.choice(links).get('href')
		+
		+
		+
		+	#01. naviguer sur le site cible
		+	### on déclare un browser
		+	br = mechanize.Browser()
		+
		+	### on ajoute des infos sur le navigateur
		+	br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; Linux x86_64; rv:69.0) Gecko/20100101 Firefox/69.0')]
		+
		+	### on ignore la gestion des robots du serveur
		+	br.set_handle_robots(False)
		+
		+	link1 = getRandomLink('https://poesie.webnet.fr/lesgrandsclassiques/Authors/B', '.author-list__link')
		+
		+	#print('https://poesie.webnet.fr'+link1)
		+
		+	url = '%s%s' % ('https://poesie.webnet.fr', link1)
		+
		+	poemeurl = '%s%s' % ('https://poesie.webnet.fr', getRandomLink(url, '.author-list__link'))
		+
		+	poemeTree = getHtmlTree(poemeurl)
		+
		+	#.poem__content
		+
		+	for selector in cssselect.parse('.poem__content'):
		+	##on convertit l'objet selector en xpath
		+	xpath_selector = cssselect.HTMLTranslator().selector_to_xpath(selector)
		+	##pour chaque poème trouvé par ce xpath
		+	poems = poemeTree.xpath(xpath_selector)
		+	print(poems[0].text_content())
		+
		+	#print(poem.text_content())
	</syntaxhighlight>		</syntaxhighlight>

@@ Ligne 35 : / Ligne 35 : @@
 *User agent :
 **What is my browser (https://www.whatismybrowser.com/guides/the-latest-user-agent/firefox)
 ===13/02/2020: writing bot: Twitter API===

← Version précédente		Version du 20 février 2020 à 08:57
Ligne 33 :		Ligne 33 :
	** cssselect (https://cssselect.readthedocs.io/en/latest/)		** cssselect (https://cssselect.readthedocs.io/en/latest/)

		+	*User agent :
		+	**What is my browser (https://www.whatismybrowser.com/guides/the-latest-user-agent/firefox)

	===13/02/2020: writing bot: Twitter API===		===13/02/2020: writing bot: Twitter API===

ERG::Code-2019-2 - Historique des versions

LenaS : /* 05/03/2020: twitter bots: on avance */

Lionel : /* 16/04/2020 */

Lionel le 16 avril 2020 à 09:56

Lionel le 12 mars 2020 à 08:20

Lionel : /* =05/03/2020: twitter bots: on avance */

Lionel : /* =05/03/2020: tomtom api */

Lionel : /* Séances */

Lionel : /* 20/02/2020: web scraping */

Lionel : /* 20/02/2020: web scraping */

Zoe.vds : /* 20/02/2020: web scraping */

LenaS : /* 05/03/2020: twitter bots: on avance */

Lionel : /* 16/04/2020 */

Lionel : /* =05/03/2020: twitter bots: on avance */

Lionel : /* =05/03/2020: tomtom api */

Lionel : /* Séances */

Lionel : /* 20/02/2020: web scraping */

Lionel : /* 20/02/2020: web scraping */

Zoe.vds : /* 20/02/2020: web scraping */