"Parsage" un peu délicat en C (ou C++), le dico français d'OpenOffice

[schlum]

Voilà, j'aimerais "parser" le dictionnaire français d'OpenOffice, mais les mots sont stoqués de manière très maline pour tenir le moins de place possible et je ne vois pas trop comment m'y prendre

En gros, il y a un fichier ".aff" avec des règles dans ce genre là :

PFX A Y 10
PFX A   0          ad         [^bcdfglmnpqrst]
PFX A   0          a          [bdgm]
PFX A   0          ac         [cq]
PFX A   0          af         [f]
PFX A   0          al         [l]
PFX A   0          an         [n]
PFX A   0          ap         [p]
PFX A   0          ar         [r]
PFX A   0          as         [s]
PFX A   0          at         [t]

PFX : préfixe ; 10 pour 10 règles, A pour le flag, Y je sais pas, et une règle par ligne : on remplace l'expression régulière de droite par celle de gauche (sur le préfix ici)

Ensuite, le dico contient des mots du genre :

92482
a/nmtlS
à/MQ
abaca/LMS
abacule/LMS
abaissable/LMS
abaissai/jnmtlw
abaissais/jnmtlv
abaissante/LMF
abaisse/jnmtlu
abaissée/F
abaisse-langue/LM

le mot, puis un /, puis les flags à appliquer ...

J'aimerais avoir un programme qui parte de ces deux fichiers et me sorte toutes les combinaisons de mots possibles à partir des flags ... Pour faire ça, il me faudrait au moins un "sed" et un "awk" en C, mais j'en ai pas trouvé

Une idée ?


PS : Les fichiers se trouvent ici

[deselegies]

Salut,
Est ce que ceciceci pourrais t'aider ?

JC

[schlum]

Salut,
Est ce que ceciceci pourrais t'aider  ?

JC
[right][snapback]800434[/snapback][/right]

Merci de ta réponse

S'il y a les sources (pour Unix), oui ça m'intéresse (et si c'est le même système pour OpenOffice et StarOffice bien sûr) ; car je ne veux pas me contenter du fichier tout fait, je veux pouvoir sélectionner les flags que je veux (pour éviter les pluriels par exemple ...)
Je vois qu'il est en GPL, mais je ne vois pas de lien sur les sources

[SuperCed]

Peut-être que si tu avais tout dans une BDD, tu pourrais mieux les traiter? Un coup de division sql te donnerait certainement ce que tu souhaites, non?

Pour parser tes fichiers, s'ils sont compliqués, essaye FLEX ou LEX.

N'oublie pas non plus le très bon fscanf.

[schlum]

Peut-être que si tu avais tout dans une BDD, tu pourrais mieux les traiter? Un coup de division sql te donnerait certainement ce que tu souhaites, non?

Pour parser tes fichiers, s'ils sont compliqués, essaye FLEX ou LEX.

N'oublie pas non plus le très bon fscanf.
[right][snapback]800469[/snapback][/right]

mhhh, merci pour l'idée mais utiliser une base de donnée pour ça ne me plaît guère... Je préfère stoquer dans des tableaux de structures lors d'un parcours du fichier '.aff' (ça ça ne devrait pas me poser de problèmes), puis parcourir le '.dic' avec une fonction du type sed (c'est ça qui me coince ...)

[schlum]

Up !
Pas d'autres idées ?
Pas de développeurs d'OpenOffice dans la salle ? (je précise, c'est pour faire des trucs sous licence libre )

[chombier]

Up !
Pas d'autres idées ? 
Pas de développeurs d'OpenOffice dans la salle ? (je précise, c'est pour faire des trucs sous licence libre  )
[right][snapback]802669[/snapback][/right]

Je ne suis pas développeur d'OpenOffice, mais après lecture et relecture de ce fil de discussion, pas d'idée.
Mais à tout hasard, si tu veux continuer à manger à ta faim, et si jamais y'avait un BREVET derrière tout ça ?

[f_cam]

Et les sources d'open office n'ont pas de quoi t'éclairer?


Moi ce que j'ai pas saisi, c'est comment savoir à quoi correspondent les flags, par exemple qu'est que ça veut dire "LMS"?

Ce message a été modifié par f_cam - 7 Aug 2004, 22:07.

[schlum]

Up !
Pas d'autres idées ? 
Pas de développeurs d'OpenOffice dans la salle ? (je précise, c'est pour faire des trucs sous licence libre  )
[right][snapback]802669[/snapback][/right]

Je ne suis pas développeur d'OpenOffice, mais après lecture et relecture de ce fil de discussion, pas d'idée.
Mais à tout hasard, si tu veux continuer à manger à ta faim, et si jamais y'avait un BREVET derrière tout ça ?
[right][snapback]802689[/snapback][/right]

Tout OpenOffice et ses sous-projets est libre I think

[schlum]

Et les sources d'open office n'ont pas de quoi t'éclairer?


Moi ce que j'ai pas saisi, c'est comment savoir à quoi correspondent les flags, par exemple qu'est que ça veut dire "LMS"?
[right][snapback]802693[/snapback][/right]

abaca/LMS

--> On a les flages L, M et S

PFX L N 1
PFX L   0          l'         [aàâeèéêiîoôuh]

Le flag L correspond au préfixe l' ... :

CODE

sed "s/^\([aàâeèéêiîoôuh]\)/l'\1/"

PFX M Y 1
PFX M   0          d'         [aàâeèéêiîoôuh]

Le flag M correspond au préfixe d' ... :

CODE

sed "s/^\([aàâeèéêiîoôuh]\)/d'\1/"

SFX S Y 1
SFX S   0          s          [^sxz]

Le flag S correspond à un suffixe pluriel classique :

CODE

sed "s/\([^sxz]\)/\1s/"

[chombier]

Tout OpenOffice et ses sous-projets est libre I think 
[right][snapback]802698[/snapback][/right]

Ce qui n'est absolument pas en contradiction avec un brevet, I'm sure
RSA a été breveté aux U.S.A. Moi, pauvre (ou plutôt chanceux) Frenchie ignorant, j'ai "importé" (en fait exporté, quelques boites m'ayant demandé un intermédiaire là bas, ne pouvant acheter à l'étranger) un soft qui utilisait RSA. C'est assurément un viol de brevet, et déjà à l'époque on trouvait du code open source RSA partout, vraiment partout. Tout RSA tient en 4 lignes sur un T-Shirt.
Aucun procès en vue... Mais si les brevets arrivent chez nous, je peux t'assurer que jamais je n'aurais fait un tel soft, et tant pis pour les dizaines de milliers d'utilisateurs qui en avaient besoin. et tant pis pour moi, petit codeur à la maison, en l'occurence...

[f_cam]

Ah d'accord je comprends mieux, ton extrait de .aff donne juste la règle A.

Est-ce que man regex éclaire ta lanterne ?

[schlum]

Tout OpenOffice et ses sous-projets est libre I think 
[right][snapback]802698[/snapback][/right]

Ce qui n'est absolument pas en contradiction avec un brevet, I'm sure
RSA a été breveté aux U.S.A. Moi, pauvre (ou plutôt chanceux) Frenchie ignorant, j'ai "importé" (en fait exporté, quelques boites m'ayant demandé un intermédiaire là bas, ne pouvant acheter à l'étranger) un soft qui utilisait RSA. C'est assurément un viol de brevet, et déjà à l'époque on trouvait du code open source RSA partout, vraiment partout. Tout RSA tient en 4 lignes sur un T-Shirt.
Aucun procès en vue... Mais si les brevets arrivent chez nous, je peux t'assurer que jamais je n'aurais fait un tel soft, et tant pis pour les dizaines de milliers d'utilisateurs qui en avaient besoin. et tant pis pour moi, petit codeur à la maison, en l'occurence...
[right][snapback]802713[/snapback][/right]

Ca fait froid dans le dos toutes ces histoires de brevets ... mais je ne pense pas être dans l'illégalité en utilisant un dico libre de droits pour faire une appli libre, si ?

[schlum]

Ah d'accord je comprends mieux, ton extrait de .aff donne juste la règle A.

Est-ce que man regex éclaire ta lanterne ?
[right][snapback]802717[/snapback][/right]

Oui, bien sûr, le .aff est plus gros que ça et contient les règles pour tous les flags

pour "regex.h" et "regexp.h", j'ai déjà fouillé ... Malheureusement, aucune fonction qui permet de faire un sed-like simplement ... En plus, il est compliqué d'utilisation pour des résultats pas folichons

[f_cam]

Je prends l'exemple de ton flag S, moi j'ai ceci qui marche:

CODE

#include <stdlib.h>
#include <stdio.h>
#include <regex.h>


int main (void)
{

       char *text ="maison";
       regex_t pluriel;
       regmatch_t *matches;

       if(0!=regcomp(&pluriel,"([^sxz])$",REG_EXTENDED)){
               printf("bad expression");
       }
       matches=malloc(sizeof(regmatch_t)*(1+pluriel.re_nsub));

       if(0==regexec(&pluriel,text,pluriel.re_nsub+1,matches,0)){

         
               printf("%.*s%.*ss\n",(int)matches[1].rm_so,text,(int)(matches[1].rm_eo-matches[1].rm_so),text+(int)matches[1].rm_so);
       }
       regfree(&pluriel);
       free(matches);
       return 0;
}

Si tu as plus de paires de parentheses, tu dois pouvoir itérer sur l'array matches.

La j'ai fait un peu le barbare, mais sinon c'a n'a pas l'air bien compliqué:
matches[0] donne l'emplacement de toute la chaine matché par l'expression
matches[1] correspond à \1 et ainsi de suite


Ce message a été modifié par f_cam - 7 Aug 2004, 23:54.

[schlum]

Ah vi, de la bonne bidouille

Et pour les règles plus compliquées comme celle-là par exemple ?

[QUERY]SFX F se s [^eo]use[/QUERY]
suffixe, ce qui se termine par "[^eo]use", on enlève se et on rajoute s ->

CODE

sed "s/\([^eo]u\)se$/\1s/"

[Edit] Hum, en fait, vu la complexité des règles, vaut mieux traiter ça avec un grep pour tester l'éligibilité de la règle, puis avec un sed pour ce qu'il y a à enlever et ce qu'il y a à rajouter ...

[f_cam]

Bon c'est vrai que mon code n'est pas tres generalisable. Ceci, en revanche l'est. Il ne tiens pas compte des trucs comme \t dans la chaine de remplacement doit sortir un tab mais bon à mon avis ça doit pas être fréquent dans ton cas, et puis je vais pas tout faire quand même.

CODE

#include <stdlib.h>
#include <stdio.h>
#include <regex.h>
#include <string.h>

int main (void)
{

       char *text ="abuse";
       char *subs="\\1s";
       int offset;
       char *p,*lp;
       regex_t pluriel;
       regmatch_t *matches;

       if(0!=regcomp(&pluriel,"([^eo]u)se$",REG_EXTENDED)){
               printf("bad expression");
               exit(1);
       }
       matches=malloc(sizeof(regmatch_t)*(1+pluriel.re_nsub));

       if(0==regexec(&pluriel,text,pluriel.re_nsub+1,matches,0)){

               if(matches[0].rm_so>0)printf("%.*s",(int)matches[0].rm_so,text);
        /*sort la partie de la chaine initiale qui est avant le match*/
               lp=p=subs;
               while((p=strchr(p,'\\'))){/*on part à la recherche des \1, \2*/

                       if(p!=lp)printf("%.*s",(unsigned int)p-(unsigned int)lp,lp);/*sort le texte de subsitution etre les trucs du style \1, \2*/
                       offset=atoi(p+1);/*on a trouvé un truc comme \\4 donc on sort une des chaines*/
                       if(offset<=pluriel.re_nsub)printf("%.*s",(int)(matches[offset].rm_eo-matches[offset].rm_so),text+(int)matches[offset].rm_so);
                       p+=2;
                       lp=p;
               }
               printf("%s",lp);/*sort le fin de la subsitution*/
               printf("%s\n",text+matches[0].rm_eo);/*sort la partie de la chaine initiale qui est après le match*/
       }
       regfree(&pluriel);
       free(matches);
       return 0;
}

C'est pas encore parfait, mais là en général il va suffire de mettre la bonne chaine de subsitution et expression regulière et ça va rouler je pense

Ce message a été modifié par f_cam - 8 Aug 2004, 13:08.

[schlum]

Finalement il est pas si mal ce header alors
Merci, j'essaierai ce soir en rentrant chez moi

[schlum]

Changement de stratégie ... Ce dico est dérivé du dico GUTemberg d'ispell, donc retour à la source ...
http://www2.unil.ch/ling/cp/frgut.html

Sinon, j'ai trouvé à quoi correspondait le Y/N ... Un suffixe avec le flag Y peut se compiner avec un préfixe ayant aussi le flag Y (remplacé par une * dans les .aff d'ispell)

Bon, ça a l'air encore plus difficile à analyser comme fichier .aff Mais je vais me débrouiller ... Merci f_cam pour les exemples d'utilisation de regex

[f_cam]

Y'a pas de quoi, j'avais jamais entendu parler de ces fonctions avant donc ça m'a permis d'apprendre des trucs.