Skip to content
GitLab

Publication sur le web · Changes

Page history
Update Publication sur le web authored by Bernard Stephan's avatar Bernard Stephan
Hide whitespace changes
Inline Side-by-side
Publication-sur-le-web.md
View page @ e5338075
## integration des fichiers
Pour décrire le thesaurus il existe 3 fichiers dans le répertoire dev:
Pour décrire le thesaurus il y a deux fichiers dans le répertoire dev:
- frenchCropUsage_metadata_latest.owl : un fichier metadonnees
qui devrait s'appliquer à l'uri du thesaurus actuel,
- frenchCropUsage_onto_latest.owl: le fichier contenant l'ontologie fcu:
declaration de l'instance de skos:ConceptScheme représentant le thesaurus,
definition de la classe crop et de plusieurs propriétés propres au thesaurus.
......@@ -10,25 +8,12 @@ Pour décrire le thesaurus il existe 3 fichiers dans le répertoire dev:
de skos:Concept et les liens associés, c'est à dire le contenu du thesaurus.
Ce fichier importe l'ontologie précédente.
Ces 3 fichiers doivent être utilisés pour ne créer qu'un seul fichier contenant
l'ensemble des informations du thesaurus metadonnées, définition (ontologie)
et contenu. Ce fichier final est celui qu'Agroportal telechargera dans
le repertoire main.
Le fichier Readme du repertoire dev est le readme correspondant à la nouvelle
version du thesaurus. La liste des sources normalement a été mises à jour.
Ce fichier readme devra etre copier dans le repertoire de la version.
## tests à effectuer sur le fichier final
- détecter les labels qui se terminent par un caractère incorrect
- détecter les dates associées à un tag de langue
- détecter les labels redondants, communs à plusieurs concepts.
L'outil skos play identifie ces labels communs à plusieurs concepts
(pas besoin de refaire ce test).
- les dates de modifications qui se répètent dans un même concept
ou qui sont identiques à la date de création du concept.
### Publication du 16/01/2024
### Publication du 23/02/2024
##### Labels qui se terminent par un caractère incorrect
*Aucun*
......@@ -42,60 +27,60 @@ Ce fichier readme devra etre copier dans le repertoire de la version.
| label |lang |crop1 |crop2 |
|---|---|---|---|
| hemp |en | Chanvres | Chanvres_fibres |
| parsley |en | Persils | Persils_odorants |
| wild apple |en | Pommiers_des_bois | Pommiers_sauvages |
| hemp |en | res/Chanvres | res/Chanvres_fibres |
| parsley |en | res/Persils | res/Persils_odorants |
| wild apple |en | res/Pommiers_des_bois | res/Pommiers_sauvages |
##### prefLabels qui sont altLabel d'un autre concept
| label |lang |crop1 |crop2 |
|---|---|---|---|
| églantier |fr | fcu:Eglantiers | fcu:Rosiers |
| jardin |fr | fcu:Jardins | fcu:Zones_non_agricoles |
| jardins familiaux |fr | fcu:Cultures_jardins_familiaux | fcu:Jardins |
| lupin blanc |fr | fcu:Lupins_proteagineux_blancs | fcu:Lupins_engrais_verts |
| lupin blanc de printemps |fr | fcu:Lupins_proteagineux_blancs_printemps | fcu:Lupins_engrais_verts |
| mélilot jaune |fr | fcu:Melilots_jaunes_engrais_verts | fcu:Melilots_fourragers |
| mélilot jaune |fr | fcu:Melilots_jaunes_engrais_verts | fcu:Melilots_officinales |
| mélilot officinal |fr | fcu:Melilots_officinales | fcu:Melilots_jaunes_engrais_verts |
| pommier sauvage |fr | fcu:Pommiers_sauvages | fcu:Pommiers_des_bois |
| jardins familiaux |fr | res/Cultures_jardins_familiaux | res/Jardins |
| églantier |fr | res/Eglantiers | res/Rosiers |
| jardin |fr | res/Jardins | res/Zones_non_agricoles |
| lupin blanc |fr | res/Lupins_proteagineux_blancs | res/Lupins_engrais_verts |
| lupin blanc de printemps |fr | res/Lupins_proteagineux_blancs_printemps | res/Lupins_engrais_verts |
| mélilot jaune |fr | res/Melilots_jaunes_engrais_verts | res/Melilots_fourragers |
| mélilot jaune |fr | res/Melilots_jaunes_engrais_verts | res/Melilots_officinales |
| mélilot officinal |fr | res/Melilots_officinales | res/Melilots_jaunes_engrais_verts |
| pommier sauvage |fr | res/Pommiers_sauvages | res/Pommiers_des_bois |
##### altLabels identiques
| label |lang |crop1 |crop2 |
|---|---|---|---|
| faux anis |fr | fcu:Aneths | fcu:Cumins |
| pépinière |fr | fcu:Arboriculture | fcu:Horticulture_ornementale |
| cenelle |fr | fcu:Aubepines | fcu:Azeroliers |
| figue |fr | fcu:Bananiers_musa | fcu:Figuiers |
| betterave non fourragère |fr | fcu:Betteraves_potageres | fcu:Betteraves_sucrieres |
| cougourde |fr | fcu:Calebasses | fcu:Courges |
| carde |fr | fcu:Cardons | fcu:Poirees |
| chicon |fr | fcu:Chicorees_de_Bruxelles | fcu:Laitues_romaines |
| chicorée endive |fr | fcu:Chicorees_frisees | fcu:Chicorees_scaroles |
| chou vert |fr | fcu:Choux_frisés | fcu:Choux_verts_non_pommes |
| jardin familial |fr | fcu:Cultures_jardins_familiaux | fcu:Jardins |
| jardins ouvriers |fr | fcu:Cultures_jardins_familiaux | fcu:Jardins |
| vergers familiaux |fr | fcu:Cultures_jardins_familiaux | fcu:Jardins |
| haricot blanc |fr | fcu:Flageolets | fcu:Haricots_secs |
| haricot coco |fr | fcu:Flageolets | fcu:Haricots_secs |
| haricot nain |fr | fcu:Haricots | fcu:Haricots_verts |
| haricot à rames |fr | fcu:Haricots | fcu:Haricots_verts |
| haricot grain |fr | fcu:Haricots_demi_sec | fcu:Haricots_secs |
| lupin bleu |fr | fcu:Lupins_engrais_verts | fcu:Lupins_fourragers |
| lupin bleu |fr | fcu:Lupins_engrais_verts | fcu:Lupins_proteagineux |
| lupin jaune |fr | fcu:Lupins_engrais_verts | fcu:Lupins_proteagineux |
| lupin bleu |fr | fcu:Lupins_fourragers | fcu:Lupins_proteagineux |
| petit trèfle jaune |fr | fcu:Lupulines | fcu:Melilots_fourragers |
| mélilot jaune |fr | fcu:Melilots_fourragers | fcu:Melilots_officinales |
| mûre |fr | fcu:Muriers | fcu:Ronces |
| brugnon |fr | fcu:Nectariniers | fcu:Pechers |
| pavot bleu |fr | fcu:Oeillettes | fcu:Pavots_ornementaux |
| pamplemousse |fr | fcu:Pamplemoussiers | fcu:Pomelos |
| persil cultivé |fr | fcu:Persils | fcu:Persils_odorants |
| radis blanc |fr | fcu:Radis_chinois | fcu:Radis_potagers |
| faux anis |fr | res/Aneths | res/Cumins |
| pépinière |fr | res/Arboriculture | res/Horticulture_ornementale |
| cenelle |fr | res/Aubepines | res/Azeroliers |
| figue |fr | res/Bananiers_musa | res/Figuiers |
| betterave non fourragère |fr | res/Betteraves_potageres | res/Betteraves_sucrieres |
| cougourde |fr | res/Calebasses | res/Courges |
| carde |fr | res/Cardons | res/Poirees |
| chicon |fr | res/Chicorees_de_Bruxelles | res/Laitues_romaines |
| chicorée endive |fr | res/Chicorees_frisees | res/Chicorees_scaroles |
| chou vert |fr | res/Choux_frisés | res/Choux_verts_non_pommes |
| jardin familial |fr | res/Cultures_jardins_familiaux | res/Jardins |
| jardins ouvriers |fr | res/Cultures_jardins_familiaux | res/Jardins |
| vergers familiaux |fr | res/Cultures_jardins_familiaux | res/Jardins |
| haricot blanc |fr | res/Flageolets | res/Haricots_secs |
| haricot coco |fr | res/Flageolets | res/Haricots_secs |
| haricot nain |fr | res/Haricots | res/Haricots_verts |
| haricot à rames |fr | res/Haricots | res/Haricots_verts |
| haricot grain |fr | res/Haricots_demi_sec | res/Haricots_secs |
| lupin bleu |fr | res/Lupins_engrais_verts | res/Lupins_fourragers |
| lupin bleu |fr | res/Lupins_engrais_verts | res/Lupins_proteagineux |
| lupin jaune |fr | res/Lupins_engrais_verts | res/Lupins_proteagineux |
| lupin bleu |fr | res/Lupins_fourragers | res/Lupins_proteagineux |
| petit trèfle jaune |fr | res/Lupulines | res/Melilots_fourragers |
| mélilot jaune |fr | res/Melilots_fourragers | res/Melilots_officinales |
| mûre |fr | res/Muriers | res/Ronces |
| brugnon |fr | res/Nectariniers | res/Pechers |
| pavot bleu |fr | res/Oeillettes | res/Pavots_ornementaux |
| pamplemousse |fr | res/Pamplemoussiers | res/Pomelos |
| persil cultivé |fr | res/Persils | res/Persils_odorants |
| radis blanc |fr | res/Radis_chinois | res/Radis_potagers |
# Marche à suivre pour la publication
......@@ -120,49 +105,50 @@ git pull origin dev
### Fichier ttl
1. Édition de `frenchCropUsage_{metadata,onto,thesaurus}_latest.owl` dans
protege pour en faire des exports ttl.
2. Édition des exports *ttl* pour supprimer les properties, classes et instances
redondants (ceux d'autres ontologies).
Versionner les `owl:Ontology` (`fcu:/def/1.0` et `fcu:3.2` par exemple).
Dans thesaurus, on garde l'instance (redondante) de frenchcropusage,
qu'on versionne aussi. On la garde pour le `owl:imports`.
3. Vérifier aussi qu'on a bien un `owl:versionIRI` et qu'il pointe
sur l'URI de version. **Écrire l'URI sous la forme complète**
(*\<http://ontology.inrae.fr/frenchcropusage/3.0>* au lieu de *:3.0*)
4. Sauvegarder et fermer.
5. Transformation des littéraux en URI. Au passage, on change les URI en
1. Édition de `frenchCropUsage_{onto,thesaurus}_latest.owl` dans protege pour en faire des exports ttl.
2. Édition des exports *ttl* pour supprimer les properties, classes et instances redondants (ceux d'autres ontologies). Versionner les `owl:Ontology` (`fcu:/def/1.0` et `fcu:3.2` par exemple). Dans thesaurus, on garde l'instance (redondante) de frenchcropusage, qu'on versionne aussi. On la garde pour le `owl:imports`.
3. Vérifier aussi qu'on a bien un `owl:versionIRI` et qu'il pointe sur l'URI de version. **Écrire l'URI sous la forme complète** (*\<http://ontology.inrae.fr/frenchcropusage/3.0>* au lieu de *:3.0*)
4. Dans le thésaurus, vérifier que `thesaurus_FrenchCropUsage` est défini correctement. (Il est normalement au début de la section *Individuals*) Le changer s'il n'est pas bon et vérifier que les 692 `skos:inScheme` sont OK… Regarder aussi si cette (re-)définition de `fcuo:thesaurus_FrenchCropUsage` n'est pas diférente de celle dans `_onto_`. On met dans `_onto_` ce qui manque et on peut l'effacer du thesaurus.
5. Toujours dans le thesaurus, on a tout en bas une `skos:editorialNote` pour un `<http://ontology.inrae.fr/frenchcropusage/res>`. On fait sauter les editorial notes donc ça n'est pas important, mais tant qu'à faire… autant le supprimer.
6. Dans l'`_onto_`, **on recopie** tout le *« contenu »* de `<http://opendata.inrae.fr/fcu-res/3.3>` vers `<http://opendata.inrae.fr/fcu-def/thesaurus_FrenchCropUsage>` (tout en bas du fichier). Avant on le faisait avec la requête ci-dessous, mais comme ça n'est plus dans le même fichier… La requête d'avant (pour mieux comprendre) :
```sparql
INSERT {
<http://ontology.inrae.fr/frenchcropusage/def/thesaurus_FrenchCropUsage> ?p ?o
} WHERE {
<http://ontology.inrae.fr/frenchcropusage/${vers}> ?p ?o
}
```
Toujours dans l'onto, on ajoute un `@prefix fcu: <http://opendata.inrae.fr/fcu-res/> .`
7. Sauvegarder et fermer.
8. Transformation des littéraux en URI. Au passage, on change les URI en
`.irstea.fr` vers `.inrae.fr` s'il en reste :
```sh
cp frenchCropUsage_thesaurus_latest.ttl toto.ttl
cat toto.ttl | sed -e 's/"\(.*\)"^^xsd:anyURI/<\1>/g;s/ontology\.irstea\.fr/ontology.inrae.fr/g;s/"http\([^"]*\)".* /<http\1> /g' > frenchCropUsage_thesaurus_latest.ttl
cp frenchCropUsage_metadata_latest.ttl toto.ttl
cat toto.ttl | sed -e 's/"\(.*\)"^^xsd:anyURI/<\1>/g;s/ontology\.irstea\.fr/ontology.inrae.fr/g;s/"http\([^"]*\)".* /<http\1> /g' > frenchCropUsage_metadata_latest.ttl
rm toto.ttl
```
6. Démarrage d'un serveur fuseki local dans un terminal à part
9. Démarrage d'un serveur fuseki local dans un terminal à part
```sh
~/opt/share/jena-fuseki/fuseki-server --mem /fcu
```
7. Import du thesaurus :
10. Import du thesaurus :
```sh
s-put http://localhost:3030/fcu default \
frenchCropUsage_metadata_latest.ttl
s-post http://localhost:3030/fcu default \
frenchCropUsage_onto_latest.ttl
s-post http://localhost:3030/fcu default \
frenchCropUsage_thesaurus_latest.ttl
# …et on ne fait surtout plus :
#s-post http://localhost:3030/fcu default \
# frenchCropUsage_onto_latest.ttl
```
8. Recherche de labels qui ne terminent pas par un caractère alphanumérique, **et on écrit les erreurs dans le wiki, sur la page de publication**. On ne relèvera toutefois pas les parenthèses fermantes.
11. Recherche de labels qui ne terminent pas par un caractère alphanumérique, **et on écrit les erreurs dans le wiki, sur la page de publication**. On ne relèvera toutefois pas les parenthèses fermantes.
```sh
s-query --service=http://localhost:3030/fcu """
PREFIX skos: <http://www.w3.org/2004/02/skos/core#>
SELECT CONCAT(?l, '#') WHERE {{ [] skos:prefLabel ?l } UNION { [] skos:altLabel ?l }}
""" | sed -e '/[^[:alpha:]]#/!d;s/^.*"value": \(.*\)#.*$/- \1"/'
```
9. On cherche les dates qui n'ont pas de "xsd:date" **et on écrit les erreurs dans le wiki, dans la page de publication**.
12. On cherche les dates qui n'ont pas de "xsd:date" **et on écrit les erreurs dans le wiki, dans la page de publication**.
```bash
s-query --service=http://localhost:3030/fcu """
prefix terms: <http://purl.org/dc/terms/>
......@@ -170,18 +156,19 @@ SELECT ?c lang(?d) WHERE {?c terms:issued|terms:modified ?d
FILTER (lang(?d) != \"\")}
""" | grep "\"c\"" | sed -e 's/^.*\/\([^/]*\)" }.*$/- \1/'
```
10. On cherche des concepts liés par un skos:broader ou un skos:narrower qui ne sont pas définis, et on écrit les erreurs dans le wiki.
13. On cherche des concepts liés par un skos:broader ou un skos:narrower qui ne sont pas définis, et on écrit les erreurs dans le wiki.
```bash
s-query --service=http://localhost:3030/fcu """
PREFIX skos: <http://www.w3.org/2004/02/skos/core#>
SELECT ?c WHERE {[] skos:broader|skos:narrower ?c
FILTER NOT EXISTS { ?c a skos:Concept }}"""
```
11. Labels redondants
14. Labels redondants
```bash
##### prefLabels identiques
export QUERY="""PREFIX skos: <http://www.w3.org/2004/02/skos/core#>
PREFIX fcu: <http://opendata.inrae.fr/fcu-res/>
SELECT ?label (lang(?label) AS ?lang) ?crop1 ?crop2 WHERE {
?crop1 a skos:Concept; skos:prefLabel ?label.
?crop2 a skos:Concept; skos:prefLabel ?label.
......@@ -194,6 +181,7 @@ curl --silent -H "Accept: text/csv" --data "query=$QUERY" \
##### prefLabels qui sont altLabel d'un autre concept
export QUERY="""PREFIX skos: <http://www.w3.org/2004/02/skos/core#>
PREFIX fcu: <http://opendata.inrae.fr/fcu-res/>
SELECT ?label (lang(?label) AS ?lang) ?crop1 ?crop2 WHERE {
?crop1 a skos:Concept; skos:prefLabel ?label.
?crop2 a skos:Concept; skos:altLabel ?label.
......@@ -205,6 +193,7 @@ curl --silent -H "Accept: text/csv" --data "query=$QUERY" \
##### altLabels identiques
export QUERY="""PREFIX skos: <http://www.w3.org/2004/02/skos/core#>
PREFIX fcu: <http://opendata.inrae.fr/fcu-res/>
SELECT ?label (lang(?label) AS ?lang) ?crop1 ?crop2 WHERE {
?crop1 a skos:Concept; skos:altLabel ?label.
?crop2 a skos:Concept; skos:altLabel ?label.
......@@ -214,14 +203,14 @@ curl --silent -H "Accept: text/csv" --data "query=$QUERY" \
http://localhost:3030/fcu/query |
sed -e 's/^/| /;s/["\r]//g;s/http[^,]*cropusage./ /g;s/,/ |/g;s/$/ |/'
```
12. Dates de modif égales à la date de création
15. Dates de modif égales à la date de création
```bash
s-query --service=http://localhost:3030/fcu """
PREFIX skos: <http://www.w3.org/2004/02/skos/core#>
SELECT ?c ?dt WHERE {
?c1 a skos:Concept; skos:issued ?dt ; skos:modified ?dt. }"""
```
13. Changer les rdfs:seeAlso vers larousse agricole en rdfs:comment (il semble qu'il n'y en ait plus) :
16. Changer les rdfs:seeAlso vers larousse agricole en rdfs:comment (il n'y en a plus) :
```sh
s-update --service=http://localhost:3030/fcu """
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
......@@ -234,7 +223,7 @@ s-query --service=http://localhost:3030/fcu """
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>
SELECT ?sa WHERE { [] rdfs:seeAlso ?sa FILTER contains(?sa, 'larousse.fr') }"""
```
14. **IMPORTANT** Suppression des skos:editorialNote
17. **IMPORTANT** Suppression des skos:editorialNote
```sh
s-update --service=http://localhost:3030/fcu/ """
delete {
......@@ -248,23 +237,13 @@ s-query --service=http://localhost:3030/fcu """
SELECT ?s ?o WHERE { ?s <http://www.w3.org/2004/02/skos/core#editorialNote> ?o }"""
#### ...ne devrait renvoyer aucun résultat.
```
15. Report des métadonnées sur def/thesaurus_FrenchCropUsage :
```sh
export vers=3.3 # ← Attention, changer avec la version de fcu que l'on crée.
s-update --service=http://localhost:3030/fcu/ """
INSERT {
<http://ontology.inrae.fr/frenchcropusage/def/thesaurus_FrenchCropUsage> ?p ?o
} WHERE {
<http://ontology.inrae.fr/frenchcropusage/${vers}> ?p ?o
}"""
```
16. Récupération du contenu de l'instance locale et ttl et conversion en rdf :
18. Récupération du contenu de l'instance locale et ttl et conversion en rdf :
```sh
s-get http://localhost:3030/fcu/ default > toto.ttl
rapper -o rdfxml -i turtle toto.ttl > toto.rdf
```
17. Ouvrir toto.ttl avec Protege pour faire un export owl vers toto.owl
18. Suppression des instances de skos:Collection pour skosPlay :
19. Ouvrir toto.ttl avec Protege pour faire un export owl vers toto.owl
20. Suppression des instances de skos:Collection pour skosPlay :
```sh
s-update --service=http://localhost:3030/fcu/ """
DELETE { ?c ?p ?o } WHERE {
......@@ -276,15 +255,27 @@ s-query --service=http://localhost:3030/fcu """
SELECT ?c WHERE { ?c a <http://www.w3.org/2004/02/skos/core#Collection> }"""
#### ...ne renvoie aucun résultat.
```
19. Récupération de la version pour skosPlay :
21. Récupération de la version pour skosPlay :
```sh
s-get http://localhost:3030/fcu/ default > toto_forSkosPlay.ttl
rapper -o rdfxml -i turtle toto_forSkosPlay.ttl > toto_forSkosPlay.rdf
rm toto_forSkosPlay.ttl
```
## Mise à jour du git
22. On prépare l'insertion de l'ontologie dans la branche master
```bash
mv frenchCropUsage_onto_latest.ttl totoonto.ttl
rapper -o rdfxml -i turtle totoonto.ttl > totoonto.rdf
#…et on ouvre totoonto.ttl dans protege pour faire le totoonto.owl
### Remarque: protege n'est pas très sympa dans ses messages d'erreur.
### S'il y en a (des erreurs), on peut profiter d'avoir fuseki
### sous la main :
# s-put http://localhost:3030/fcu default frenchCropUsage_onto_latest.ttl
```
## Mise à jour du git
```sh
# S'il y a des conflits dans la branche dev : git reset --hard
# On peut sans problèmes effacer les *_latest.ttl
......@@ -297,10 +288,11 @@ export vers=3.3 # (← déjà fait, mais à ne pas oublier sinon).
git switch -c v3.2
git checkout master
for i in owl rdf ttl; do mv toto.$i frenchCropUsage_latest.$i ; done
for i in owl rdf ttl; do git add frenchCropUsage_latest.$i ; done
mv -f toto_forSkosPlay.rdf frenchCropUsage_latest_forSkosPlay.rdf
git add frenchCropUsage_latest_forSkosPlay.rdf
for i in owl rdf ttl; do mv toto.$i frenchCropUsage_thesaurus_latest.$i ; done
for i in owl rdf ttl; do mv totoonto.$i frenchCropUsage_onto_latest.$i ; done
for i in owl rdf ttl; do git add frenchCropUsage_{thesaurus,onto}_latest.$i ; done
mv -f toto_forSkosPlay.rdf frenchCropUsage_thesaurus_forSkosPlay.rdf
git add frenchCropUsage_thesaurus_forSkosPlay.rdf
```
Publication du git :
......@@ -310,7 +302,7 @@ git commit -m "Version $vers mise en ligne le $( date )"
git push # origin v$vers
```
## Mise en ligne dans le triplestore
## Mise en ligne dans le triplestore (obsolete)
```bash
# Si ça n'est pas déjà fait, ne pas oublier :
......