Utilisateur:Pierreetheve - Historique des versions

Pierreetheve : /* Base de donnée */

2021-04-25T20:20:24Z

Base de donnée

Pierreetheve : /* Base de donnée */

2021-04-25T20:15:00Z

Base de donnée

Pierreetheve : /* Labellisation */

2021-04-25T20:14:03Z

Labellisation

Pierreetheve : /* BG_detector */

2021-04-25T20:13:07Z

BG_detector

Pierreetheve : /* Base de donnée */

2021-04-25T20:07:53Z

Base de donnée

Pierreetheve : /* Labellisation */

2021-04-25T19:00:07Z

Labellisation

Pierreetheve : /* B3Q2 */

2021-04-25T18:47:32Z

B3Q2

Pierreetheve le 25 avril 2021 à 18:45

2021-04-25T18:45:37Z

Pierreetheve le 17 janvier 2021 à 15:51

2021-01-17T15:51:07Z

Pierreetheve : /* Extracteur d'URL */

2021-01-17T15:50:33Z

Extracteur d'URL

← Version précédente		Version du 25 avril 2021 à 20:20
Ligne 61 :		Ligne 61 :

	Pour intégrer les informations dans la base de donnée, un script python va dépaqueter le fichier JSON, puis ajouter chaque entrée à la base de donnée en créant au fur et à mesure les tags et les personnages supplémentaires nécessaires.		Pour intégrer les informations dans la base de donnée, un script python va dépaqueter le fichier JSON, puis ajouter chaque entrée à la base de donnée en créant au fur et à mesure les tags et les personnages supplémentaires nécessaires.
		+
		+	[[Fichier:PierreEtheve_table.png]]

	Les informations retenues sont simples, mais permettent néanmoins de faire des requêtes puissantes à la base de donnée comme par exemple construire un corpus d'animation pour IA contenant uniquement :		Les informations retenues sont simples, mais permettent néanmoins de faire des requêtes puissantes à la base de donnée comme par exemple construire un corpus d'animation pour IA contenant uniquement :

← Version précédente		Version du 25 avril 2021 à 20:15
Ligne 71 :		Ligne 71 :

	- etc.		- etc.
		+
		+	Script d'importation disponible ici : https://drive.google.com/file/d/1Dj8BP6UB541NeFUDfC4RQk-XydrK7R0r/view?usp=sharing

	==Futurs développements==		==Futurs développements==

← Version précédente		Version du 25 avril 2021 à 20:14
Ligne 47 :		Ligne 47 :

	[[Fichier:Pierreetheve_label1.png]]		[[Fichier:Pierreetheve_label1.png]]
		+
		+	Code source de la page disponible ici : https://drive.google.com/drive/folders/1Nfc7nOwmaL2_qYbuc57tlSu1-1_1Cb6u?usp=sharing

	==Base de donnée==		==Base de donnée==

@@ Ligne 36 : / Ligne 36 : @@
 Un aperçu de l'exécution du processus (sans l'étape 5, ajoutée après) : https://youtu.be/p8s0ym5ERck
+Code source du programme disponible ici : https://drive.google.com/drive/folders/140W08E-Op49OVjXbV0cBRNIwxJX2ryoZ?usp=sharing
 ==Labellisation==

@@ Ligne 56 : / Ligne 56 : @@
 La structure exacte est représentée sur ce schéma :
-schema
+[[Fichier:Pierreetheve_Schema_BDD.png]]
 Pour intégrer les informations dans la base de donnée, un script python va dépaqueter le fichier JSON, puis ajouter chaque entrée à la base de donnée en créant au fur et à mesure les tags et les personnages supplémentaires nécessaires.
@@ Ligne 69 : / Ligne 69 : @@
 - etc.
 ==Futurs développements==

@@ Ligne 44 : / Ligne 44 : @@
 Comme j'avais des besoins à la fois simples et assez spécifiques, j'ai choisi de construire moi-même mon outil de labellisation sous forme de page web. Une fois la labellisation lancée, chaque séquence est jouée, le labellisateur peut alors sélectionner les tags qui correspondent ou en rajouter. Il note ainsi la qualité de la séquence, les différents parties du personnages présentes dans le champs, ainsi que le nom de chacun des personnages présents.
 Une fois la labelisation finie, l'outil renvoie un fichier JSON contenant toutes les informations entrées.
 ==Base de donnée==

← Version précédente		Version du 25 avril 2021 à 18:47
Ligne 4 :		Ligne 4 :


		+	Le but de ce projet est de créer une base de données de séquences d'animation dans le but d'en faire une base d'expérimentation de différentes approches de génération d'animations par deep learning. Constatant mon manque de données, j'ai décidé de consacrer mon semestre à la mise en place d'une structure solide de collecte de données.
		+
		+
		+
		+	==BG_detector==
		+
		+	Je suis parti du principe qu'en arrivant à identifier et à extraire les parties animées d'un épisode d'animation en laissant de coté le décor, je pourrais constituer assez facilement un corpus de données intéressant. J'ai donc écrit un programme utilisant les capacités d'OpenCV pour tenter de localiser les parties mouvantes d'une scène, et de l'isoler de l'arrière plan, même lors de mouvement de caméra faibles.
		+
		+	J'ai pour cela suivi un protocole qui revient dans les grandes lignes à cela :
		+
		+	1) Faire une première analyse grossière du mouvement, basée sur la différence pixel à pixel entre les images.
		+
		+	2) Utiliser une technique de seuillage du taux de changement frame à frame pour détecter les changements de scène.
		+
		+	Puis pour chaque scène :
		+
		+	3) Faire un tracking de points d'intérêts grâce à l'implémentation du flux optique d'OpenCV.
		+
		+	4) Trier les points en fonction de leur trajectoire : des points avec une trajectoire linéaires dans le temps (qui restent immobiles ou se déplacent en ligne droite) sont considérés comme potentiellement dûs au mouvement de caméra, et exclus de l'analyse.
		+
		+	5) Répéter les étapes 3 et 4 avec un défilement inverse des images (permet de tracker des points qui ne seraient pas présents dans la première image).
		+
		+	6) Agréger tous les points issus de trajectoires irrégulières (donc probalement dûs à un mouvement animé), et en déduire une zone rectangulaire d'intérêt.
		+
		+	Pour chaque zone d'intérêt :
		+
		+	7) Faire un nouveau tracking des points, et repérer les frames où ils sont en mouvement. Eliminer toutes les images où le personnage ne fait aucun mouvement notable. Cela élimine les pauses, et permet de n'enregistrer que l'information importante (~60% de réduction de la masse de donnée après cette étape).
		+
		+	8) Enregistrer la zone pour chaque instant où un mouvement a été détecté, sous forme de séquence de PNGs.
		+
		+	Un aperçu de l'exécution du processus (sans l'étape 5, ajoutée après) : https://youtu.be/p8s0ym5ERck
		+
		+
		+
		+	==Labellisation==
		+
		+	Une fois le script exécuté, on obtient une grosse masse de données brutes : une série de dossiers contenant les séquences d'images pour chaque zones d'intérêt. Il faut maintenant les labelliser pour pouvoir trier les données. J'ai opté pour une labellisation par tags qui décrivent l'ensemble de la séquence sans entrer dans un tracking de chaque élément, extrêmement fastidieux.
		+
		+	Comme j'avais des besoins à la fois simples et assez spécifiques, j'ai choisi de construire moi-même mon outil de labellisation sous forme de page web. Une fois la labellisation lancée, chaque séquence est jouée, le labellisateur peut alors sélectionner les tags qui correspondent ou en rajouter. Il note ainsi la qualité de la séquence, les différents parties du personnages présentes dans le champs, ainsi que le nom de chacun des personnages présents.
		+
		+	Une fois la labelisation finie, l'outil renvoie un fichier JSON contenant toutes les informations entrées.
		+
		+
		+
		+	==Base de donnée==
		+
		+	Il ne nous reste maintenant plus qu'à les intégrer dans la base de donnée.
		+
		+	J'ai opté pour une base de donnée MySQL, avec une architecture réduite : chaque séquence est reliée à un ou plusieurs tags, un ou plusieurs personnages, et à un épisode faisant partie d'une série.
		+
		+	La structure exacte est représentée sur ce schéma :
		+
		+	schema
		+
		+	Pour intégrer les informations dans la base de donnée, un script python va dépaqueter le fichier JSON, puis ajouter chaque entrée à la base de donnée en créant au fur et à mesure les tags et les personnages supplémentaires nécessaires.
		+
		+	Les informations retenues sont simples, mais permettent néanmoins de faire des requêtes puissantes à la base de donnée comme par exemple construire un corpus d'animation pour IA contenant uniquement :
		+
		+	- des mains de personnages d'animation japonaise
		+
		+	- le visage d'un personnage spécifique
		+
		+	- toutes les animations labelisées comment étant de bonne qualité d'un film spécifique
		+
		+	- etc.
		+
		+
		+
		+
		+	==Futurs développements==
		+
		+	Si le projet est maintenant fini, il est encore quasiment vide, il reste en effet à l'utiliser à plus grande échelle pour collecter et classer les animations. Même si je n'ai pu fournir aucune utilisation concrète de ce travail cette année, c'est un outil puissant, qui me servira notamment l'année prochaine à tester différentes approches d'aide à l'animation par IA, très gourmandes en données sur lesquelles apprendre. Il me paraît donc très peu probable que ce projet ne justifie pas abondamment de son utilité dans les années qui viennent.

	=B3Q1=		=B3Q1=

@@ Ligne 1 : / Ligne 1 : @@
 Page de Pierre ETHEVE
-=Sources=
+=B3Q2=
 Mon but est de collecter une grande quantité d'animations schématiques afin de pouvoir s'en servir pour de l'apprentissage automatique. Plusieurs sources sont possibles, sous forme de sites d'hébergements soit de vidéos (Vimeo, Youtube), soit de GIFs (Pinterest, Tumblr). L'avantage des sites de GIFS est que les répertoires sont plus fournis, et plus propres à l'herbergement de fragments video courts. La petite définition n'est pour le moment pas un problème, mais elle pourrait le devenir par la suite.
@@ Ligne 12 : / Ligne 18 : @@
-=Structure=
+==Structure==
 [[Fichier:Structure_petheve.png]]
@@ Ligne 23 : / Ligne 29 : @@
-= Extracteur d'URL =
+== Extracteur d'URL ==
 Le but du projet est simple : pouvoir télécharger en bloc tout le contenu d'un board pinterest pour constituer des bases de données d'images homogènes (les boards pinterest sont très efficace pour laisser aux utilisateurs le soin de trier les informations, et donc effectivement de les labeliser).
-== Méthode traditionnelle ==
+=== Méthode traditionnelle ===
 La méthode classique consistant à charger la page via Mechanize, puis parse les données récupérées via CSSSelect ne marche que pour des sites relativement statiques. Or Pinterest demande qu'on se connecte pour pouvoir fournir des choix personnalisés.
@@ Ligne 34 : / Ligne 40 : @@
-== Méthode locale ==
+=== Méthode locale ===
 J'ai donc fini par me rabattre sur une méthode que j'avais déjà expérimentée auparavant, consistant à aller modifier dans la page chargée dans le navigateur certaines fonctions de bases pour ménager un flux d'informations pertinentes vers le log, qui sera ensuite copié à la main.
@@ Ligne 100 : / Ligne 106 : @@
-= Téléchargement des images =
+== Téléchargement des images ==
 Dans mon projet original, le log copié devait être manuellement transformé par une suite de rechercher-remplacer pour obtenir une liste d'adresses précédées d'un WGET, qui était ensuite exécuté en ligne de commande. J'ai pris cette fois ci là peine de faire un vrai script qui s'occupe de toutes ces étapes tout seul, en isolant la bonne adresse, puis en utilisant la librairie urlretrieve pour aller télécharger chacune des images et les stocker dans un dossier. Voici la version finale du script :

← Version précédente		Version du 17 janvier 2021 à 15:51
Ligne 100 :		Ligne 100 :


−	== Téléchargement des images ==	+	= Téléchargement des images =

	Dans mon projet original, le log copié devait être manuellement transformé par une suite de rechercher-remplacer pour obtenir une liste d'adresses précédées d'un WGET, qui était ensuite exécuté en ligne de commande. J'ai pris cette fois ci là peine de faire un vrai script qui s'occupe de toutes ces étapes tout seul, en isolant la bonne adresse, puis en utilisant la librairie urlretrieve pour aller télécharger chacune des images et les stocker dans un dossier. Voici la version finale du script :		Dans mon projet original, le log copié devait être manuellement transformé par une suite de rechercher-remplacer pour obtenir une liste d'adresses précédées d'un WGET, qui était ensuite exécuté en ligne de commande. J'ai pris cette fois ci là peine de faire un vrai script qui s'occupe de toutes ces étapes tout seul, en isolant la bonne adresse, puis en utilisant la librairie urlretrieve pour aller télécharger chacune des images et les stocker dans un dossier. Voici la version finale du script :

@@ Ligne 143 : / Ligne 143 : @@
 # télécharger le pin à partir de l'url et le stocker dans le dossier 'folder'
-def getPin(url) :
+def getPin(url, i) :
-	for i in range(start, len(unique_pins)) :
+	rq.urlretrieve(url, "%s/%05d.jpg"%(folder, i))
-		link = unique_pins[i]
+	print("Saving to %s/%05d.jpg"%(folder,i))
 # si aucune option n'est montrée, print l'aide et clore le programme
@@ Ligne 168 : / Ligne 166 : @@
 # pour chaque URL HD, lancer un télécharger grace à get_pin()
-for link in unique_pins :
+for i in range(len(unique_pins)) :
-	getPin(link);
+	link = unique_pins[i]
 </syntaxhighlight>

Utilisateur:Pierreetheve - Historique des versions

Pierreetheve : /* Base de donnée */

Pierreetheve : /* Base de donnée */

Pierreetheve : /* Labellisation */

Pierreetheve : /* BG_detector */

Pierreetheve : /* Base de donnée */

Pierreetheve : /* Labellisation */

Pierreetheve : /* B3Q2 */

Pierreetheve le 25 avril 2021 à 18:45

Pierreetheve le 17 janvier 2021 à 15:51

Pierreetheve : /* Extracteur d'URL */

Pierreetheve : /* Base de donnée */

Pierreetheve : /* Base de donnée */

Pierreetheve : /* Labellisation */

Pierreetheve : /* BG_detector */

Pierreetheve : /* Base de donnée */

Pierreetheve : /* Labellisation */

Pierreetheve : /* B3Q2 */

Pierreetheve : /* Extracteur d'URL */