| ... | ... | @@ -2,269 +2,16 @@ |
|
|
|
|
|
|
|
(:warning: site en évolution ! :construction: :construction_worker: :construction_site: chantier actuel = ajouts d'illustrations ; gestion des versions) _Pour améliorer la rédaction et alimenter cette ressource, toute contribution sera la bienvenue : remarque, info complémentaire, exemple de graphique (éventuellement à construire)..._
|
|
|
|
|
|
|
|
Ce site propose des **pages thématiques complémentaires à la doc et aux tutos repérés**. Pour faire simple, cela correspond aux explications que j'aurais aimé trouver pour résoudre les problèmes rencontrés. Les pages proposées sont de plusieurs types :
|
|
|
|
|
|
|
|
- un format **"Atelier"**, qui serait comparable à un TP : on part d'un exemple simple que l'on complexifie peu à peu (exemple : C tracer une chronique, E: tracer une longue chronique, D: tracer une carte...) ; certains Ateliers correspondent à des codes existants, "décomposés et commentés" ; c'est le cas de l'atelier G, sur les widgets, où l'on s'appuie sur des codes de démo réalisés pour des TDs ;en 2021, tous ces "Ateliers" concernent la bibliothèque de visualisation **matplotlib** :chart_with_upwards_trend:
|
|
|
|
- des pages **"focus"**, où l'on va traiter un objet ou une fonction en particulier, dans un cas simple (exemple : focus scatter, où l'on aborde aussi les colorbar) ; cela correspond souvent à des tests réalisés pour de "vrais" codes, ces pages permettant de garder une trace écrite des informations acquises.
|
|
|
|
- des topos **"Point Théorie"**, où on décrit surtout la ou les méthodes, sans application ou avec une application sur un cas très simple.
|
|
|
|
- des **listes** : de [tutoriels](Tutographie), de [définitions](Lexique), et à venir une Galerie d'exemples et un index des notions abordées.
|
|
|
|
Ce site propose des **pages thématiques complémentaires à la doc et aux tutos repérés**. Pour faire simple, cela correspond aux explications que j'aurais aimé trouver pour résoudre les problèmes rencontrés.
|
|
|
|
|
|
|
|
:panda_face: un autre gitlab en développement propose [une page thématique sur le module pandas en hydrologie](https://gitlab.irstea.fr/orchyds-visualisation-et-traitement-de-chroniques-pas-de-temps-fixe/echasses/-/wikis/objets-et-m%C3%A9thodes-de-pandas), avec explications des objets et méthodes utilisées dans le code du projet pour le traitement de chroniques hydrologiques. :rowboat:
|
|
|
|
|
|
|
|
## PREAMBULE : installer Python... ou pas !
|
|
|
|
|
|
|
|
Pour jouer avec Python, vous pouvez :
|
|
|
|
|
|
|
|
- :computer: installer Python et un éditeur ; le plus simple pour débuter en Python est d'utiliser la distribution **Anaconda** ou miniconda, qui contient les modules les plus courants pour une utilisation scientifique standard ; pour l'éditeur, **idle** est fourni avec Python, mais il est conseillé de passer rapidement à un éditeur plus complet comme spyder (fourni avec anaconda), pycharm ou vscode.
|
|
|
|
- :computer: ne pas installer Python, au moins dans un premier temps, et travailler sur des petits codes dans des REPL en ligne, tels que ceux de w3schools ( <https://www.w3schools.com/python/trypython.asp?filename=demo_indentation> ) ou REPLIT.COM, où vous pouvez ouvrir un profil gratuitement (pour l'instant ?...) et sauvegarder vos projets. :new: la nouvelle [page d'accueil de Matplotlib (fin 2021)](https://matplotlib.org/) met en évidence (à la date où je tape...) un ["binder" pour jouer avec Matplotlib en ligne](https://mybinder.org/v2/gh/matplotlib/mpl-brochure-binder/main?labpath=MatplotlibExample.ipynb). C'est un notebook Jupyter (hélas :stuck_out_tongue_winking_eye: ?... )
|
|
|
|
|
|
|
|
:no_entry: les _notebooks_ sont parfaits pour alterner du texte mis en forme et du code exécutable. Certes, mais attention ils ont leurs limites : [Joel Grus donne ses arguments dans une excellente présentation](https://docs.google.com/presentation/d/1n2RlMdmv1p25Xy5thJUhkKGvjtV-dkAIsUXP-AL4ffI/edit#slide=id.g3d168d2fd3_0_211): ce n'est pas si simple de démarrer, de débugger, d'être certain que les instructions ont été exécutées dans le bon ordre... voir entrée **"Jupyter"** du [lexique](Lexique). En plus, **par défaut les figures matplotlib sont affichées par Jupyter sans les widgets interactifs**\*... alors que justement ici on veut explorer de longues chroniques, donc en zoomant !
|
|
|
|
|
|
|
|
Le site REPLIT.COM a été utilisé pour mettre en ligne des [petits codes de démo](https://replit.com/@CPoulard/). Sans permission particulière, vous pourrez les exécuter mais pas les modifier. A vérifier : vous devriez pouvoir récupérer le code. Ca n'est pas forcément une solution sur le long terme, car on ne maîtrise pas les évolutions du site, et de plus tous les packages utiles ne sont pas forcément installés. Bref, aucune garantie que ça marche quand vous essaierez... Dans ce cas, allez chercher le code dans le repository (barre de gauche, en haut).
|
|
|
|
|
|
|
|
:chart_with_upwards_trend: pour l'instant l'essentiel du contenu porte sur Matplotlib, avec un **"Atelier Matplotlib"** en plusieurs parties, dont un point sur les bases de Python nécessaires. Des pages plus généralistes seront ajoutées au fur et à mesure (modules et gestion des versions, environnement virtuel...) avec des liens vers des sites utiles et des compléments. Sauf mention contraire, les codes ont été développés sous Matplotlib :three:.:four:.:two: ; la version 3.5 est sortie depuis...
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
_exemple de résolution d'un problème récurrent : un graphique avec courbes et deux axes des y, jumelé avec un autre ; légende commune à toute la figure et légende "customisée" pour le code couleur ; figure tracée avec le code___ [_Atelier_MatPlotLib_2021_part1_](https://gitlab.irstea.fr/christine.poulard/atelier-matplotlib/-/blob/master/Atelier_MatPlotLib_2021_part1.py)
|
|
|
|
|
|
|
|
## Dans cette page d'accueil : présentation de Matplotlib et des pages dédiées :chart_with_upwards_trend:
|
|
|
|
|
|
|
|
* pourquoi Matplotlib: c'est la bibliothèque "historique" de Python, riche d'une forte communauté et de très bon "wrappers" (seaborn), même si d'autres modules sont prometteurs pour des usages spécifiques
|
|
|
|
* le principe de l'Atelier 2021, et ses documents
|
|
|
|
* ateliers disponibles : points traités et exemple de sortie
|
|
|
|
* [commentaires sur la version 3.5 sortie en novembre 2021](version%203.5)
|
|
|
|
|
|
|
|
:construction_site: à venir : une 'galerie' pour voir les graphiques proposés, avec les mots-clefs associés. En attendant cette galerie pour pour mieux cibler les pages correspondant à un besoin, le [readme](https://gitlab.irstea.fr/christine.poulard/atelier-matplotlib/-/blob/master/README.md) et le plan ci-dessous, sous forme de tableau, vous donneront une idée des principaux exemples.
|
|
|
|
|
|
|
|
### pourquoi Matplotlib, la bibliothèque "historique" de Python
|
|
|
|
|
|
|
|
Matplotlib n'est pas la seule bibliothèque graphique de Python, mais c'est sans doute la plus utilisée, donc avec une grande communauté, et elle est 100% Python (plein accès au code). Elle a une [**documentation complète, structurée et et tenue à jour**](https://matplotlib.org/), qu'il faut consulter en priorité ; elle manque parfois d'exemples d'utilisation, il faut alors chercher des explications et des illustrations ailleurs, [dans des cours, des tutos](Tutographie) ou des forums. Pour des données multimensionnelles, vous utiliserez peut-être Seaborn, et pour réaliser des cartes en tenant compte des systèmes de projection il y a Geopandas et Cartopy : tous sont des "wrappers" de Matplotlib, c'est-à-dire des interfaces qui proposent des syntaxes pratiques et se chargent de les transcrire en instructions matplotib. Il est donc intéressant de connaître matplotlib pour ajuster des graphiques faits avec tous les wrappers. Elle reste une bonne bibliothèque pour prendre pied dans les visualisation. NB : comme matplotlib est utilisé comme base pour le "méta-package" Plots\* en Julia le temps d'apprentissage n'est pas perdu même si vous passez à Julia (éventuellement, ce wiki sera élargi à Julia, un jour...).
|
|
|
|
|
|
|
|
Il existe maintenant des alternatives plus rapides, plus spécialisées, qui sont meilleures au niveau de l'interactivité et de la réactivité (animations, mise à jour en continu...), mais elles ne sont pas aussi complètes, et ne bénéficient pas de la même communauté de développeurs et d'utilisateurs que Matplotlib. Par ailleurs, Matplotlib continue aussi à évoluer.
|
|
|
|
|
|
|
|
Le [site Pyviz, consacré à la visualisation](https://pyviz.org/) fournit beaucoup d'informations sur les différentes solutions de visualisation, avec une très bonne [page de synthèse](https://pyviz.org/overviews/index.html) reprenant le schéma de J. Vanderplas qui cartographie les bibliothèques selon leurs "moteurs" (Python, javascript, D3js, OpenGL), et les liens entre elles.
|
|
|
|
|
|
|
|
Pour des données multimensionnelles, on citera _Altair_, basé sur le D3js. Bokeh utilise les navigateurs ; il est particulièrement intéressant pour les "dashboard" et pour être intégré à des pages internets. Plotly est très bon pour les graphiques interactifs.
|
|
|
|
|
|
|
|
Il serait intéressant de faire par la suite un fork de cet atelier avec Plotly ou Bokeh ou PyQtGraph... ou le projet [vispy](https://vispy.org/) (à ne pas confondre avec Pyviz...) basé sur l'openGL qui regroupera des éléments de plusieurs modules (PyQTGraph, glumpy...) mais il est encore en développement.
|
|
|
|
|
|
|
|
## "Atelier Python Matplotlib 2021"
|
|
|
|
|
|
|
|
### alternance de pratique et de théorie à suivre lors de sessions encadrées ou en autonomie
|
|
|
|
|
|
|
|
**En complément à la doc et aux nombreux tutos** dont certains sont excellents (voir [onglet "tutographie"](Tutographie)) il s'agit ici de découvrir matplotlib au travers d'applications de nos équipes (actuellement : chroniques de valeurs, champs de valeurs...). On insistera sur les points qui ont posé des difficultés, même si éventuellement cela ne semblait pas être du tout quelque chose de difficile (maintenir les étiquettes de dates de l'axe des x lisibles quel que soit le zoom ; construire une légende qui ne masque pas les courbes, et qui soit complète même avec des variables de natures différentes tracées avec un autre axe des y ou dans des vignettes différentes...).
|
|
|
|
|
|
|
|
Certaines pages présentent des "Ateliers" avec une démarche qui part d'un cas simple et ajoute des difficultés une à une ; ils sont référencés par des lettres. D'autres font le point sur une difficulté précise, pour garder une trace de tests effectués pour de "vrais" codes ; c'est le cas de l'[Atelier "clic"](Atelier_clics) et de l'addendum à l'atelier Carte, avec le cas des zooms. Pour que ces pages soient utilisables facilement, il faudrait un lexique des notions abordées ; en attendant, vous trouverez en en-tête des pages une liste des notions principales et secondaires.
|
|
|
|
|
|
|
|
Ce wiki est en évolution, des illustrations sont ajoutées au fur et à mesure. D'autres pages seront ajoutées, et la todo list comprend bien sûr une "galerie" pour aller voir les réalisations des uns et des autres et y piocher des idées et des solutions.
|
|
|
|
|
|
|
|
N'hésitez pas à faire part de vos questions, remarques et suggestions aux auteurs, _contributions bienvenues_ également.
|
|
|
|
|
|
|
|
#### Prérequis
|
|
|
|
|
|
|
|
connaître au moins les bases d'un langage de programmation (boucles, tests, notions d'objet...)
|
|
|
|
|
|
|
|
**Installer Python 3**, avec les modules supplémentaires matplotlib, pandas, Pathlib (à vérifier). facultatifs : pickle
|
|
|
|
|
|
|
|
Installer la distribution Anaconda permet de tout avoir en une opération.
|
|
|
|
|
|
|
|
Un [petit topo sur l'épineux problème des **versions** est en préparation](versions) : ce qui "marche" pour la version que vous utilisez en développement ne fonctionnera pas forcément pour un module plus ancien... et pas forcément non plus pour les versions plus récentes ! !
|
|
|
|
|
|
|
|
**Installer un environnement** de développement (IDE): j'utiliserai PyCharm, mais si vous préférez vous pourrez utiliser Spyder (avec Anaconda) ,VisualStudio. IDLE, JupyterLab et Jupyter Notebook sont des choix possibles pour tester, mais ne permettent pas de tout faire aussi facilement. Si vous n'utilisez pas pyCharm, faites quelques tests avant (définir des variables dans la console...).
|
|
|
|
|
|
|
|
#### Ressources complémentaires
|
|
|
|
|
|
|
|
Diaporama, jeux de données et documents complémentaires <https://gitlab.irstea.fr/christine.poulard/atelier-matplotlib> Vous pouvez aussi jouer avec vos propres données : préparez des fonctions de lecture pour les vôtres (liste des x et des y, ou numpy, ou pandas.Series ou DF).
|
|
|
|
|
|
|
|
Quelques bouts code de "démo" en ligne :<https://replit.com/@CPoulard/>
|
|
|
|
|
|
|
|
Enfin, les sites de référence qui expliquent non seulement comment, mais surtout pourquoi on fait comme ça : [Tutographie !](Tutographie).
|
|
|
|
|
|
|
|
## Plan de l'atelier 2021
|
|
|
|
|
|
|
|
La numérotation est critiquable et sera sans doute revue; la logique était d'aller du plus simple au plus compliqué... sauf que cela devient faux dès que l'on rajoute un exemple.
|
|
|
|
|
|
|
|
### Pour bien débuter :[Instructions de base ; manipulation dans la console](Python_%20quelques%20bases)
|
|
|
|
|
|
|
|
### Les ateliers
|
|
|
|
|
|
|
|
Les exemples suivants sont tirés de nos activités (chroniques de valeurs, champs de valeurs...).
|
|
|
|
|
|
|
|
<table>
|
|
|
|
<tr>
|
|
|
|
<th>Atelier</th>
|
|
|
|
<th>Exemple</th>
|
|
|
|
<th>Notions centrales & additionnelles</th>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>B) Atelier 1 : Un premier graphique, avec un axe des x et un axe des y</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
_voir repl en ligne_ <https://replit.com/@CPoulard/> , "Plotting long time-series"
|
|
|
|
</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
[B1) Un premier graphe très simple](/christine.poulard/atelier-matplotlib/-/wikis/AtelierB1_Graphiques_simples) entrée en matière
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>syntaxe simple avec "plt" : plt.plot(), plt.xlabel(), plt(ylim), plt.title... ; arguments label, lw, marker='\*', color, ls, fontsize...)</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
[B2) lire un fichier texte et extraire l'information (="parser")](/christine.poulard/atelier-matplotlib/-/wikis/Atelier1_2)
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>modules pathlib et datetime ; tkinter.askopenfilename() ; Path.is_file() ; with open(nom_fichier, 'r') as fichier ; fichier.readline() ; chaine.split(); dictionnaires dict(), clé et valeurs ; feuilles de style (via rc_params)</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
[C) Atelier 2 : un graphique avec un 2e axe des y ; les objets d'une figure](/christine.poulard/atelier-matplotlib/-/wikis/AtelierC) : représenter des variables de nature différente. Problème : créer une 2e courbe avec un 2e axe des y ; partager un même axe des x sur deux vignettes différentes, obtenir une légende avec toutes les variables.
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>Définitions "objet" de Figure et Axes ; ax2= ax1.twinx() pour créer une vignette partageant le même axe des x ; créer et organiser plusieurs vignettes selon une grille avec subplots, arguments nrows et ncols ; sharex=True pour jumeler des vignettes. Différence entre légende d'Axes et de Figure. Créer une légende de toutes pièces (voir illustration en tête de page).</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
[D) Atelier 3 : pour changer, une carte ('heatmap') à partir d'une matrice, avec sa colormap](/christine.poulard/atelier-matplotlib/-/wikis/Atelier_D_carte) ; avec quelques imports/exports entre mpl et QGis
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>lecture et tracé des shapes (ici, sans geopandas) ; représentation d'une matrice avec imshow; notion de colormap ; customisation d'une colorbar discrète par une liste de couleurs ou par discrétisation d'une colormap continue ; page spéciale "zooms"</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
[E) Atelier 4 : on revient au traitement de chroniques, dans le cas de longues séries](Atelier_E_longues_series) : amélioration de l'affichage des étiquettes de date sans pandas ; on pourra travailler avec le fichier de l'atelier 1 et/ou un fichier binaire
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>problèmes spécifiques des longues séries (cette section sera étoffée si besoin exprimé)</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
**NIVEAU AVANCE**
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
**interactions : événements et WIDGETS**
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
[Atelier événement : notion d'événement, de callback ; mise à jour d'un graphique ](Atelier_clics): exemple d'un "clic sur un graphique" qui va donner des infos sur le point le plus proche
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>événement, liaison événement fonction ; exemples de MouseEvent et PickEvent ; identification du point le plus proche par distances "en unités du graphiques" et "en unité écran" ; widget Textbox</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
[F) Atelier 5 : widgets et prétraitement de longues chroniques avant visualisation ](Atelier_F_pretraitement): adaptation de la résolution
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>pandas et rééchantillonnage, surcharge des outils de la barre d'outils</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
[G) Atelier 6 : les widgets de matplotlib : slider et checkbutton](Atelier_G_widgets) : plusieurs exemples de difficulté croissante mais plus simple que le F ;
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>widgets "moins bien que ceux de Tkinter mais pouvant rendre service, modification des objets de matpotlib, ajout d'outils à la barre d'outils</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
**TODO LIST ?**
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
**selon besoins exprimés**
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
utilisation d'objets créés par matplotlib pour calculs géométriques (ici, attributs aire et périmètre de polygones)
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
code inclus dans ST2shape, pour test au service de l'interface Pamhyr en Python :
|
|
|
|
|
|
|
|
polygone_zone_en_eau = ax_st.fill_between(x_section, y1=z_eau, y2=z_section, where=z_eau>z_section, interpolate=True)
|
|
|
|
</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>ggplots, grammar of graphics</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
petite initiation en cheminant avec le Mooc MachineLearning [premiers pas dans seaborn](focus%20seaborn)
|
|
|
|
</td>
|
|
|
|
</tr>
|
|
|
|
<tr>
|
|
|
|
<td>animations (pas encore fait !)</td>
|
|
|
|
<td>
|
|
|
|
|
|
|
|
|
|
|
|
</td>
|
|
|
|
<td>mpl permet de générer des animations (animate) mais ici on triche avec un exemple en Julia (avec @gif, tuto M. Herbst)</td>
|
|
|
|
</tr>
|
|
|
|
</table>
|
|
|
|
|
|
|
|
### Points "théorie" spécifique matplotlib
|
|
|
|
|
|
|
|
[Layout = Disposition de vignettes dans une figure : subplots et gridspecs](https://gitlab.irstea.fr/christine.poulard/atelier-matplotlib/-/wikis/Point-Th%C3%A9orie-:-Subplots)
|
|
|
|
|
|
|
|
### A venir ou à compléter : [Galerie](galerie_mpl_hypopo), [(dys)Lexique](Lexique), futurs ateliers, tuto plus complet...
|
|
|
|
|
|
|
|
## Points "théorie" Python (hors matplotlib)
|
|
|
|
**à compléter**
|
|
|
|
|
|
|
|
|
|
|
|
### [PIP pour installer et gérer paquets et modules, environnements virtuels](Versions%20de%20Python,%20version%20des%20paquets)
|
|
|
|
|
| ... | ... | |
