comptage de signes, nombre d'occurrences... [résolu]

[losto]

Bonjour.

Soit le texte ci-dessous (en réalité il y a plus de soixante-mille lignes...)

[attachment=59748:Capture_...20.09.13.png]

Les lignes sont divisées en deux parties par un tiret long (en vert à gauche et en rouge à droite du tiret long), et séparées par un retour-ligne (ou un retour paragraphe si nécessaire).

Je dois:
1) trouver l'occurrence la plus longue (en signes) avant le tiret long ;
2) trouver l'occurrence la plus longue (en signes) après le tiret long ;
3) trouver l'occurrence avant le tiret long qui se répète le plus de fois (exemple bleu).

Pour compliquer un peu la chose, je dois en réalité trouver les dix premières occurrences de chaque (les dix plus longues avant et les dix plus longues après le tiret long, et les dix avant le tiret long qui se répètent le plus.

J'espère avoir été clair. Je ne vois pas avec quelle application je peux faire ça de manière la plus simple possible.

Une idée?

Ce message a été modifié par losto - 17 Jan 2020, 09:45.

[Jaypee]

Bonjour,

Le comptage de signes est l'exemple de base servant à illustrer les techniques de big data, notamment de l'algorithme de "MapReduce", et du traitement distribué.

L'idée est de balayer le texte et de générer des tuples pour construire des dictionnaires ou des "maps" grâce à un traitement appelé le Mapper. Il peut y avoir plusieurs Mappers spécialisés, un pour s'intéresser à l'occurrence des mots, générant un couple ("hello", 1), un autre scrutant la longueur générant le tuple ("hello", 5). Tous ces tuples sont placés dans une queue spécialisée, consommée par un autre traitement mapper, puis tout à la fin par le dernier traitement appelé le Reducer. Un Reducer responsable du comptage génère un dictionnaire ("hello", compte) et chaque fois qu'un ("hello, 1) se présente le dictionnaire est mis à jour ("hello", compte + 1).
Pour un déploiement pratique, la plateforme Hadoop était utilisée. Mais elle est très lourde puisque que la queue entre Mappers et Reducer est implémentée par fichier d'un file system spécialisé le HDFS.

Il existe soit des solutions purement programmatiques à base de langages "fonctionnels" comme Lisp, Clojure, R, soit des bibliothèques plus récentes que Hadoop, qui privilégient la mémoire, plutôt que le fichier pour les passage de données. Apache Flink est un exemple d'une telle bibliothèque. Apache Storm est aussi une bibliothèque de ce genre. Avec le langage Clojure, il existe une bibliothèque PigPen.

Et ce sont les réseaux sociaux comme Facebook ou Twitter qui sont à l'origine de tels outils, plutôt que des universités. PigPen vient des développeurs de Netflix qui contribue beaucoup à l'Open Source dans le domaine du Big Data.

Voilà donc quelques pistes à explorer,
Jean-Pierre

Ce message a été modifié par Jaypee - 12 Jan 2020, 17:44.