Télecharger une archive personelle contenant tous les fils de discussions auxquels le membre a participé

[Twisell]

Bonjour,

Depuis 2004 Macbidouille c'est un peu mon groupe de réflexion favori. Je réagis quasi exclusivement dans les news parfois c'est du partage, parfois de l’engueulade mais souvent c'est intéressant.
Et si dans l'idéal on aimerait que Macbidouille dure 10 000 ans les vicissitudes du monde réel viendront peut être un jour contrarier cette ambition.

J'aimerais donc poser ici la question de la mémoire personnelle numérique dans cette forme d'échange finalement assez récente que sont les forums.
Comment réaliser une sauvegarde locale de mes échanges épistolaires afin de conserver cette mémoire même si Macbidouille disparait un jour?

On dis souvent si je peux l'afficher c'est que je peut le télécharger. Et dans le cas qui nous occupe c'est sans doute particulièrement vrai. Mais comment?

Je vois deux approches possibles:

1. Demander aux admins/dev des forums de co-écrire une requête SQL ad-hoc.
   
   • C'est peut être déjà prévu par la plateforme (je rêve sans doute)
   • La démarche pourrait être réutilisable pour d'autre utilisateurs en faisant la demande
   • Voir automatisable (possibilité de restreindre à l'utilisateur actif?)
   • Dans l'idéal le fichier de sortie convertirait le BBCode pour rendre le résultat plus lisible
   
   
2. Utiliser un aspirateur de site basé sur du machine learning (type import.io)
   
   • Aucun besoin de l’assistance des admins
   • Nécessitera une approche en plusieurs étapes pour d'abord identifier les sujets cibles
   • Le résultat sera dur à standardiser et à réutiliser
   • Risque de surcharger le serveur si plusieurs personnes font cela avec des délais irréalistes entre les requêtes (une sécurité existe peut-être déjà?)

Voilà l'état de ma réflexion pour l'instant, qu'en pensez-vous?

Ce message a été modifié par Twisell - 26 May 2016, 09:19.

[Twisell]

Recete proposée (solution 2) Work in progress :

1. Obtenir la liste de ses post en utilisant l'outil de recherche
   
   • Rentrer son identifiant en cochant la cas nom exact, demander à afficher les résultats par sujets.
   • Parcourir toutes les pages de résultats et les sauvegarder une à une en tant que code source (pas possible d'automatiser à ma connaissance, la recherche est réservée aux membres connectés)
   
   
2. Transformer les documents en liste d'URL à visiter
   Pour cette étape j'utiliserais le logiciel SublimeText qui est un shareware totalement fonctionnel sans être enregistré (mais que si on est gentil c'est bien de soutenir les devs)
   
   
   • Rechercher les balises minipagelink et minipagelinklast
     Utiliser la chaine de recherche <span class="minipagelink (il est important d'omettre le guillemet fermant pour sélectionner les deux type de balise)
   • Etendre la sélection au tag
     Travailler en mode de sélection multiligne sur sublimetext afin de travailler sur tout les éléments sélectionnées en même temps)
   • Copier et coller dans un nouveau document
     Normalement si vous avez réussi chaque ligne correpondra à l'interieur d'un tage et se présentera sous la forme suivante:
     <a href="http://forum.macbidouille.com/index.php?showtopic=396382&amp;st=0&amp;start=0">1</a>
     
   • Utiliser l'édition rapide pour nettoyer le texte et ne conserver que les lien.
     Conservez l'expression &raquo; qui marque les sujet pour lesquels, tout les liens de pages ne sont pas affichés.
     Exeemple:
     
     Code
     http://forum.macbidouille.com/index.php?showtopic=397062&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=397062&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=397062&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=397062&st=120&start=120 &raquo;
     http://forum.macbidouille.com/index.php?showtopic=396246&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396246&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=142705&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=142705&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=142705&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=142705&st=1350&start=1350 &raquo;
     http://forum.macbidouille.com/index.php?showtopic=396978&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396978&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=396901&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396901&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=396901&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=396871&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396871&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=396871&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=396382&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396382&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=396673&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396673&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=396673&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=396673&st=90&start=90
     
     (...)
   • Localiser les balises &raquo; (NB : correspond au caractère » qui apparait pour aller à la dernière page d'un sujet comportant plus de 5? pages) et les étendre en rajoutant des lignes par intervalle de 30 posts (paramètre st=)
     Par exemple :
     
     Code
     http://forum.macbidouille.com/index.php?showtopic=397062&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=397062&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=397062&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=397062&st=120&start=120 &raquo;
     Devient:
     
     Code
     http://forum.macbidouille.com/index.php?showtopic=397062&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=397062&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=397062&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=397062&st=90&start=90
     http://forum.macbidouille.com/index.php?showtopic=397062&st=120&start=120
   
   (Clairement, pour le post des AIPB ça va prendre un peut de temps et une magouille intermédiaire pour générer un série pourrais être confortable)
   
   
3. Utiliser un webscaper pour télécharger les données de chaque page
   A compléter...
   
   En gros il s'agit d'appliquer la méthode que j'ai utilisé pour produire le fichier résultat dans le post précédent

PS: Franchement ne me dites pas que c'est simple, quand j'aurais fini je posterais une petite requête SQL des famille de 15 lignes qui fait tout en une seule opérations.
Evidement je ne connait pas le nom des tables IPS alors ce sera au jugé, mais si un dev peut prendre de voir ce que ça vaut ce serais cool...

Je continuerais jusqu'au bout de décrire le fonctionnement de la solution 2 pour le principe, mais ce sera tellement franchement pas à la portée de tous, désolé d'avance.

Ce message a été modifié par Twisell - 30 May 2016, 09:06.