Text mining avec R

De EduTech Wiki
Aller à la navigation Aller à la recherche

Cet article est une ébauche à compléter. Une ébauche est une entrée ayant un contenu (très) maigre et qui a donc besoin d'un auteur.


Voir aussi:

Importation de documents

tm est conçu pour marcher avec une variété de formats: textes simple, des articles/papiers en PDF ou Word, des documents Web (HTML, XML, SGML), etc.

Les corpus

Le Corpus est la structure R qui représente une collection de documents que l'on veut analyser. Cette structure doit être construite en important des données et/ou en tapant des données.

Il existe 2 versions:

  • VCorpus (volatile, lorsqu'on arrête R, il faut la refaire ...
  • PCorpus (endroit unique où le corpus est stocké)

Pour construire un corpus, il faut donner deux arguments

  • Identifier un type de 'source de données: soit DataframeSource, DirSource, URISource, vectorSource ou XMLSource
getSources() # donne la liste
  • Definir le reader, c-a-d. la 'manière dont le texte est lu avec readerControl, notamment readDOC, readPDF, readPlain, readXML, readTabular.
getReaders() # donne toute la liste

Chaque source possède un lecteur par défaut. Par exemple pour DirSource, c'est readPlain.

Lecture de fichiers textes en format UTF-8

  1. Tester si un répertoire existe et retourner son nom complet
  2. Tester et stocker le nom d'un sous-répertoire tm/texts/txt dans votre bibliothèque système
txt <- system.file("texts", "txt", package = "tm")
  1. Charger
(ovid <- VCorpus(DirSource(txt, encoding = "UTF-8"), readerControl = list(language = "lat")))

Transformations

stemDocument()

stripWhitespace()

tmTolower()

Méthodes d'analyse

.....


Exemple EduTechWiki

Cet exemple est directement inspiré par le billet Text mining in R – Automaticcategorization of Wikipedia articles de Norbert Ryciak.

Prérequis

Il faut avoir les librairies stringi, proxi et tm. Donc si nécessaire, il faut les installer. Par exemple, en ligne de commande: 

install.packages("proxy")

Importer les documents

On peut directement importer des pages html (donc des pages wiki): 

library(tm)
library(stringi)
library(proxy)
# le nom du wiki
wiki <- "http://edutechwiki.unige.ch/fr/"
# une liste de noms de pages
titles <- c("STIC:STIC_I_-_exercice_1_(Utopia)", "STIC:STIC I - exercice 1 (Nestor-Pixel)", 
            "STIC:STIC_I_-_exercice_2_(Utopia)",
            "STIC:STIC III (2012)/Module 1",  "STIC:STIC III (2012)/Module 2")

# un vecteur qui contient 5 strings vides ("")
articles <- character(length(titles))

# lecture des contenus des pages wiki. Chaque article se trouvera dans un des string ci-dessous.
for (i in 1:length(titles)) {
    articles[i] <- stri_flatten(readLines(stri_paste(wiki, titles[i])), col = "")
}

# Création d un corpus avec les articles
docs <- Corpus(VectorSource(articles))

Liens

R utilizing the text mining framework provided by the tm package. We present methods for data import, corpus handling, preprocessing, metadata management, and creation of term-document matrices.”

  • Ingo Feinerer, Kurt Hornik, David Meyer (2008). Text Mining Infrastructure in R, Journal of Statistical software, Vol. 25, Issue 5, http://www.jstatsoft.org/v25/i05/ (open contents)
    • Article complet par les auteurs du package et qui introduit le paquet tm (version 2008). Il contient aussi des exemples.
  • Text mining with R (slides) by Aleksei Beloshytski
    • Montre (superficiellement) notamment comment analyser un blog, c'est à dire extraire les contenus, puis extraire les thèmes les plus populaires, clustering, etc.
Récupérée de « https://edutechwiki.unige.ch/fmediawiki/index.php?title=Text_mining_avec_R&oldid=38094 »