spacetime.md

@@ -10,22 +10,48 @@
 
 On peut écrire des fichiers texte tabulaires et se débrouiller pour stocker les infos spatiales et temporelles.
 
-* avantages
+* Avantages
     * simple à programmer et à maintenir
-* inconvénients
+* Inconvénients
     * plus dur à traiter pour ceux à qui on passe les données
     * solution la moins performante
 
 ## sqlite3
 
-On pourrait écrire les données qu'on récupère dans une base sqlite3
-* avantages
+On pourrait écrire les données qu'on récupère dans une base sqlite3.
+
+https://cran.r-project.org/web/packages/RSQLite/index.html
+
+* Avantages
     * lecture/écriture plus performante que des fichiers texte tabulaires
+    * on peut écrire au fur et à mesure donc économiser de la mémoire vive
     * ça reste un seul fichier facile à transporter
     * sqlite3 est interfaçable avec tous les langages de programmation
-* inconvénients
-    * c'est moins performant que les gros SGBD comme MySQL ou PostgreSQL
-    * c'est plus chiant de changer la forme des résultats (la structure des tables) qu'avec une solution "texte tabulaire)
+* Inconvénients
+    * c'est moins performant que feather et les gros SGBD comme MySQL ou PostgreSQL
+    * c'est plus chiant de changer la forme des résultats (la structure des tables) qu'avec les autres solutions
     * on perd la possibilité d'utiliser les outils GNU sed, awk, grep
 
-## 
\ No newline at end of file
+## Feather
+
+Feather est un format binaire pour stocker des dataframes. Il est interfacé avec R, Python et Julia.
+
+https://www.rdocumentation.org/packages/feather/versions/0.3.5
+
+* Avantages
+    * de loin le plus performant niveau temps et espace
+    * plus facile que les autres, on a un package R qui peut directement écrire un dataframe
+* Inconvénients
+    * on ne peut pas écrire au fur et à mesure qu'on obtient les données donc on met tout en RAM
+    * on ne sait pas si la personne qui traitera les données utilise un langage qui a une librairie qui sait lire les fichiers feather
+    * on perd aussi sed, awk, grep
+
+## Autres solutions
+
+On a aussi des trucs comme hdf5 ou la sérialisation type pickle mais c'est peu utilisé et peu connu.
+
+# Ma conclusion
+
+Feather a l'air vraiment bien et nous faciliterait la tâche. On a juste à produire un dataframe bien formé et le package s'occupe de le stocker pour nous.
+
+La question est : Quelle quantité de données on va sortir du modèle couplé ? Si c'est énorme, on devrait choisir sqlite3, si c'est raisonnable et que ça ne fait pas exploser la RAM, je pense que feather est plus simple et plus pratique.
\ No newline at end of file