|
|
Le cours "Informatique pour les historiens" de Francesco Beretta, avec tous les documents, fichiers et scripts associés, est mis à disposition selon les termes de la licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 International. |
Weil der Stadt, Wurtemberg ,
le vingt-septième jour du mois de décembre 1571
Une balises est un **nom** enveloppé par deux chevrons '<' '>'. Les balises sont ouvertes, puis fermées. La //valeur du nom// de chaque balise ('seg', 'name', 'date' dans l'exeple ci-dessus) ne fait pas partie de la grammaire XML mais des sémantique qu'on peut construire à partir de cette grammaire. Nous y reviendrons ci-dessous.
Johannes Kepler
La balise de fermeture possède un signe '/' après le premier chevron '<'. Les balises doivent former une arboréscence sans intersections: lorsqu'une balise qui en contient quelques autres est fermée, toutes les balises qu'elle contient doivent également avoir été fermées préalablement. C'est le cas des balises 'name' et 'date' de l'exemple ci-dessus, qui doivent être fermées avant la fermetur de la balise 'seg' qui les contient.\\
C'est donc **FAUX** d'écrire:
L'astronome Johannes Kepler
C'est correct d'écrire:
L'astronome Johannes Kepler
De plus le document doit posséder une et une seule balise racine qui contient toutes les autres balises.\\
A ces conditions le document est dit **'bien formé'** (well formed) et peut être enregistré (vous pourrez l'enregistrer sous format texte même s'il n'es pas bien formé, mais la base de données personnelle refusera de l'enregistrer dan le champs texte_tei: postgreSQL vérifie que le document est 'bien formé' avant de l'enregistrer).
Les balises peuvent contenir des attributs (dans l'exemple il s'agit des attributs @ana, @ref et @type) qui ajoutent des précisions concernant la signification des balises et de leur contenu. Les attributs peuvent également contenir des valeurs même si les balises sont vides (cf., dans l'exemple, la première balise 'name'). Une balise vide est directement fermée par une barre oblique.
Nicolas Claude Fabri de Peiresc
Document à usage personnel
Cet article est extrait de l'ouvrage Larousse « Dictionnaire mondial des littératures »
Mise-à-jour effectuée
J'ai encodé toutes les entités nommées qui figurent dans ce texte
Érudit et collectionneur français (Belgentier, Provence , 1580
Ce conseiller au parlement d'Aix voyagea à travers l'Europe et se lia avec les grands collectionneurs et bibliothécaires de son temps.
Secrétaire du garde des sceaux Guillaume du Vair en 1616, il devient un membre assidu de l'Académie des frères Dupuy (où il rencontre Gassendi , Guez de Balzac, Ducange).
Témoin typique de la curiosité du xviie siècle, il réunit et observe les choses et les faits curieux dont on peut mesurer l'ampleur dans la correspondance qu'il a laissée.
===== Codage structurel =====
Comme le montrent les documents qui se trouvent dans le dossier 'documents_exemple', à l'intérieur de l'élément 'text' le texte principal est contenu par l'élément **[[http://www.tei-c.org/release/doc/tei-p5-doc/fr/html/ref-body|body]]**. Un élément 'front' et un élément 'back' pourraient contenir un titre du livre ou la table des noms mais nous ne les utilisons pas pour une première approche.
\\
A l'intérieur de l'élément 'body', le document est structuré en divisions et subdivisions grâce à l'élément **[[http://www.tei-c.org/release/doc/tei-p5-doc/fr/html/ref-div|div]]**. Plusieurs éléments 'div' peuvent être imbriqués pour donner des niveaux de division successifs (par ex. chapitres et sous-chapitres d'un livre). Il n'est toutefois pas prévu, dans cette approche basique, d'imbriquer plus que trois niveaux. On aura donc au maximum la structure d'arboréscence:
body > div > div > div > p
Pour un texte avec un structure plus complexe, il est préférable de produire plusieurs documents en découpant le texte en plusieurs morceaux.
L'attribut @type des éléments 'div' prévoit quatre valeurs: 'structure' (utilisation des 'div' pour renseigner la structure du document); 'transcription' (l'élément 'div' contient un texte transcrit à partir d'une source, imprimée ou manuscrite); 'notes' (l'élément 'div' contient ses propres notes); 'redaction' (l'élément 'div' contient un texte rédigé par ses propres soins). De cette manière, on saura d'emblée quelle est la nature du texte que contient la division.
\\
Si souhaité, on peut ajouter également un élément [[http://www.tei-c.org/release/doc/tei-p5-doc/fr/html/ref-head|head]] qui contient le titre de la division. Il sera réutilisé dans l'export vers une page HTML de navigateur ou vers LibreOffice en tant que titre de la subdivision du texte.
\\
A l'intérieur des éléments 'div' on utilise des éléments [[http://www.tei-c.org/release/doc/tei-p5-doc/fr/html/ref-p|p]] pour structurer les paragraphes. Si les portions de texte ne correspondent pas vraiment à des paragraphes, il est préférable d'utiliser l'élément [[http://www.tei-c.org/release/doc/tei-p5-doc/fr/html/ref-ab|ab]], plus générique. Ou alors on peut encoder des éléments [[http://www.tei-c.org/release/doc/tei-p5-doc/fr/html/ref-table|table]] avec leur parties (colonnes et lignes, respectivement éléments 'row' et 'cell'), des [[http://www.tei-c.org/release/doc/tei-p5-doc/fr/html/ref-figure|figures]], etc.
===== Codage sémantique =====
Pour le codage sémantique (qui nous permettra d'indexer les acteurs, les lieux, etc. dont parle le texte, ou d'indiquer quel est le sens de parties du texte), nous retendrons trois types d'éléments:
* les éléments qui identifient des entités nommées: [[http://www.tei-c.org/release/doc/tei-p5-doc/fr/html/ref-name|name]] si la chaîne de caractères que contient la balise 'name' correspond à un nom; [[http://www.tei-c.org/release/doc/tei-p5-doc/fr/html/ref-rs|rs (referring string)]] si la chaîne de caractères se trouvant dans la balise 'rs' correspond à une référence, allusion, pronom qui se réfère à une entité nommée (un acteur, un lieu, etc.). L'attribut @ref contiendra la clé de l'objet tel qu'il est défini dans la base de données, en créant ainsi une correspondance entre celle-ci et les textes, et en permettant d'index aisément ces derniers.
* avec l'élément [[http://www.tei-c.org/release/doc/tei-p5-doc/fr/html/ref-seg|seg]] on identifie une portion de texte dans laquelle on reconnaît un sens spécifique, qui correspond à une assertion ou à une unité de connaissance atomisée. L'attribut @ana permet de typer avec un objet abstrait la proposition que contient l'élément 'seg', en lien avec la définition qu'on donnera de l'objet abstrait dans la base de données.
* ATTENTION: l'élément 'seg' doit se trouver toujours en dessous d'un élément 'p' ou 'ab', comme 'enfant' des précédents, c'est-à-dire enveloppé par eux. En d'autres termes, un élément 'seg' ne peut pas englober plusieurs 'p' ou plusieurs 'ab'.
* si on a besoin de classer les paragraphes ou les divisions du texte avec une typologie sémantique, l'attribut @ana peut-être également utilisé au niveau des éléments 'p' ou 'div' pour indiquer le sens des textes qui se trouvent dans ces balises et les classer grâce à des objets abstraits définis dans la base de données (par ex. récit, analyse, etc.). La valeur de l'attibut @ana, qui peut être multiple (plusieurs valeurs séparées par un espace) sera la clé d'un objet abstrait défini dans la base de données, toujours munie de son préfixe (par ex. ObPe555)
\\
Pour des exemples, voir les textes qui se trouvent dans le dossier 'documents_exemple'.
\\
====== Création d'un nouveau document ======
Une fois acquises les notions de base expliquées jusqu'ici, il s'agit maintenant de créer un nouveau document XML, selon la sémantique TEI, et d'encoder ses propres notes, transcriptions de documents, etc.
Pour ce faire, on peut procéder de deux manières:
- créer un nouveau document vide dans jEdit, avec le menu 'Fichier > Nouveau'
* copier en entier le texte XML qui se trouve sur cette même page du wiki, ci-dessus, sous le titre 'Un exemple de document'
* le coller dans le nouveau document
* créer (ou avoir créé) dans la base de données un objet de type 'objet digital' qui sert de témoin à cet objet
* utiliser la clé de l'objet créé dans la base de données (par ex. ObPe77) comme nom du nouveau document xml sous cette forme ObPe77.xml
* enregistrer dans JEdit le noueau document ObPe77.xml dans le dossier 'mes_documents' du projet 'documents_tei'
* remplacer le texte de l'exemple par son propre texte (partie 'text') et mettre à jour les dates des meta-données (partie 'teiHeader')
- ouvrir un document du dossier 'documents_exemple
* dans le menu 'Fichier' choisir 'enregistrer une copie sous'
* créer un objet dans la base de données : ObPe77
* appeler la copie du document ObPe77.xml
* l'enregistrer dans le dossier 'mes_documents' (donc: changer de dossier!)
* remplacer le texte de l'exemple par son propre texte (partie 'text') et mettre à jour les dates des meta-données (partie 'teiHeader')
====== Visualisation des documents encodés ======
Le balisage ou encodage des documents en XML – TEI permet ensuite de les visualiser sous différentes formes et de les fouiller pour de retrouver facilement les passages des textes qui nous intéressent, ou d'en extraire des connaissances.
===== Visualisation des documents encodés =====
Mais avant tout, il s'agit de visualiser le document encodé de manière plus lisible. Un affichage de travail est disponible en ouvrant le document dans un navigateur web (testé avec Firefox et Internet Explorer): il suffit d'ouvrir le fichier depuis le navigateur, comme on ouvrirait n'importe quel document avec un traitement de texte, et un affichage 'ad hoc' apparaît.
\\
Cet affichage est modulable à son gré en modifiant les feuilles de style XSLT et CSS qui se trouvent dans le dossier 'transformation' – ceci est toutefois facultatif et demande un savoir faire supplémentaire. La feuille de style de base permet de lire le texte et prendre connaissance du balisage sémantique effectué.
\\
===== Importation dans LibreOffice =====
On peut aussi transformer le document XML-TEI en un document traitement de texte grâce aux filtres dont dispose LibreOffice. Pour ce faire, il faut télécharger le {{:td_histoire_numerique:tei_td_lyon3_20141029.jar.zip|fichier des filtres}} (version actuelle 29 octobre 2014), le dézipper de manière à disposer d'un fichier se terminant par le suffixe .jar et l'installer dans LibreOffice. Pour ce faire, il faut:
* Dans LibreOffice, ouvrir un nouveau document texte vide
* Dans le menu Outils, sélectionner 'Paramétrage du filtre XML'
* Clicker sur le bouton "Ouvrir comme package..."
* Chercher le fichier .jar que vous venez de télécharger et décompresser/dézipper et ouvrez-le (sous Windows 7 il faut l'ouvrir deux fois, c'est-à-dire déscende de deux niveaux)
* Une fois ouvert, vous aurez le message: Installation du filtre "TEI_TD_Lyon3" terminée et vous verrez le filtre "TEI_TD_Lyon3" dans la liste des filtres
* Fermez la boîte de dialogue "Paramétrage du filtre XML"
Maintenant vous pouvez ouvrir vos fichiers XML-TEI dans LibreOffice:
* Ouvrir la boîte de dialogue "Ouvrir un fichier" (raccourci: Ctrl-O)
* Cocher "EN LECTURE SEULE" ! Il est en effet INTERDIT d'enregitrer le fichier une fois ouvert dans LibreOffice directement en format XML – ce faisant, vour perdrez tous vos codages TEI
* Sélectionnez le type de fichier à ouvrir: "TEI_TD_Lyon3" (menu à côté de 'Nom de fichier'), dans la liste vers la fin des types de Texte ODF
* Choisissez un des documents encodés et ouvrez-le
* Il sera en lecture seule: vous pouvez maintenant l'enregistrer dans un autre format (.odt, .doc, .docx, etc.) ou récupérer le texte par copier–coller et le mettre, par ex., dans votre mémoire de master
Avec cette méthode on peut profiter du codage sémantique pour indexer le texte et en extraire des connaissances, puis transformer facilement le format XML pour l'importer dans un document de traitement de texte et l'utiliser pour des citations, etc., en faisant disparaître les balises XML.
ATTENTION: le filtre que vous venez d'installer est réduit aux fonctionnalités minimales; toutefois, il est paramétrable et adaptable en fonction de ce qu'on veut sortir: styles, italiques, index des noms, etc. Simplement il faut une certaine connaissance du XSLT pour ce faire. Si l'une ou l'autre de vous pense utiliser cette approche, je pourrai facilement adapter le filtre à ses besoins.
====== Interrogation des documents encodés ======
Extraction de typologies et de connaissances.
===== Importation dans la base de données PostgreSQL =====
Pour pouvoir fouiller les textes, il est nécessaire de les importer (par copier-coller) dans la base de données PostgreSQL. Nous prendrons l'exemple de la base de données de l'exercice: bd_td_exercice – par analogie on appliquera le même procédé à ses propres textes et à la base de données personnelle.
La procédure est très simple:
* créer dans la base de données un objet de type 'objet digital' qui correspond au texte encodé, qui le représente dans la base de données -> cf. l'exemple ObPe77 mentionné ci-dessus
* dans la base de données de l'exercice, il s'agit par ex. des objets ObPe24, ObPe40, etc.
* ouvrir le document à importer sous jEdit, par ex. le document ObPe24.xml qui, comme son nom l'indique, correspond à l'objet ObPe24 de la base de données – dans l'exemple ci-dessous le document texte XML-TEI qui contient ses propres notes a été appelé ObPe77.xml
* sélectionner le texte en entier et le copier
* ouvrir la fiche de l'objet ObPe24 (ou l'objet ObPe77 pour son propre texte) dans la base de données, sélectionner tout le contenu du champs 'texte-tei', l'effacer
* avec un click droit coller le texte issu de jEdit – puis enregistrer (avec le bouton ou en clicquant hors des champs)
Le nouveau texte est ainsi enregistré dans la base de données.
===== Requêtes SQL /XPath =====
Une fois les textes XML-TEI enregistrés dans la base (dans le champs 'texte-tei' des objets correspondants aux textes, un objet par texte) on peut intérroger la base de données et extraire des informations des textes.
Pour ce faire, on utilise la langage SQL en le combinant avec le langage XPATH que PostgreSQL implémente également si le champs sur lequel porte la requête est de type 'XML'.
Pour apprendre la syntaxe des requêtes SQL, voir la manuel PostreSQL, chapitres 2 et 7. Nous y reviendrons. Pour apprendre celle du XPATH, un excellent {{:td_histoire_numerique:obpe6630_xpath4.pdf|tutoriel}} rédigé par Wieslaw Zielonka est [[http://www.liafa.jussieu.fr/~zielonka/Enseignement/BDAvances/2013/XML/xpath4.pdf|disponible sur internet]]
Pour exécuter les requêtes ci-dessous:
* ouvrir la base de données 'bd_td_exercice' avec pgAdminIII, sélectionner le dossier rouge 'schémas' dans l'arboréscence, puis ouvrir la boît de dialoque 'SQL': bouton loupe.
* copier la requête dans l'Editeur SQL
* exécuter la requête avec le bouton vert en forme de flèche
* le résultat s'affichera dans le panneau de sortie en bas
Pour exporter le résultat:
* sous CSV = dans le menu 'Fichier' sélectionner 'Exporter...', choisir un nom de fichier et un emplacement (attention à mettre le suffixe .csv après le nom)
* pour visualiser directement le résultat avec un navigateur, sélectionner dans le menu 'Fichier' la commande 'Rapport rapide', choisir de nouveau un fichier de sortie (tout en bas), ne rien toucher aux autres paramètres et appuyer sur OK
* le résultat apparaîtra immédiatement dans votre navigateur web
==== Visualisation de toutes les portions de texte qui contiennent un attribut @ana ====
Cette requête a été stockée dans une vue. Une vue est un table virtuelle construite à partir d'une requête. On peut donc intérroger la vue comme s'il s'agissait d'une table.
Requête de base:
SELECT *
FROM vues_analyse.v_xml_balises_avec_ana
Compter les types de balises munies de l'attribut @ana:
SELECT COUNT(*),
nom_balise
FROM vues_analyse.v_xml_balises_avec_ana
GROUP BY nom_balise
Compter les types de balises par acteur et type de texte:
SELECT ???
==== Extraction de toutes les naissances ====
Un exemple de requête qui extrait des textes exemple toutes les connaissances concernant des naissances:
WITH TA1 AS
(
SELECT ROW_NUMBER() OVER (ORDER BY 1)::INTEGER AS id,
UNNEST(xpath ('//name/@ref | //date/@when',UNNEST(xpath ('//tei:seg[@ana="ObPe36"]',t1.texte_tei,ARRAY [ARRAY['tei','http://www.tei-c.org/ns/1.0']])),'{}'))::text AS cle,
t1.pk_objet
FROM objets.objet t1
),
TA2 AS
(
SELECT TA1.cle,
t2.nom,
t2.type_objet,
TA1.pk_objet,
tA1.id
FROM ta1
LEFT JOIN vues_affichage.v_proprietes_standard_objet t2 ON t2.cle_objet = TA1.cle
ORDER BY TA1.id,
TA1.cle
)
SELECT t3.cle AS date_naissance,
t1.cle,
t1.nom,
t2.cle cle_lieu,
t2.nom nom_lieu,
t4.longitude,
t4.latitude
FROM TA2 AS t1
LEFT JOIN TA2 AS t2
ON t2.id = t1.id
AND (t2.type_objet = 'Lieu'
OR t2.type_objet = 'Immeuble')
LEFT JOIN TA2 AS t3
ON t3.id = t1.id
AND t3.cle NOT LIKE 'ObPe%'
LEFT JOIN objets.objet t4 ON 'ObPe' ||t4.pk_objet = t2.cle
WHERE t1.type_objet = 'Acteur'
ORDER BY date_naissance,
nom
==== Exercice ====
Compléter les données des quatre personnages et ajouter les coordonnées géographiques, puis afficher sur une carte