Télecharger une archive personelle contenant tous les fils de discussions auxquels le membre a participé

[Twisell]

Bonjour,

Depuis 2004 Macbidouille c'est un peu mon groupe de réflexion favori. Je réagis quasi exclusivement dans les news parfois c'est du partage, parfois de l’engueulade mais souvent c'est intéressant.
Et si dans l'idéal on aimerait que Macbidouille dure 10 000 ans les vicissitudes du monde réel viendront peut être un jour contrarier cette ambition.

J'aimerais donc poser ici la question de la mémoire personnelle numérique dans cette forme d'échange finalement assez récente que sont les forums.
Comment réaliser une sauvegarde locale de mes échanges épistolaires afin de conserver cette mémoire même si Macbidouille disparait un jour?

On dis souvent si je peux l'afficher c'est que je peut le télécharger. Et dans le cas qui nous occupe c'est sans doute particulièrement vrai. Mais comment?

Je vois deux approches possibles:

1. Demander aux admins/dev des forums de co-écrire une requête SQL ad-hoc.
   
   • C'est peut être déjà prévu par la plateforme (je rêve sans doute)
   • La démarche pourrait être réutilisable pour d'autre utilisateurs en faisant la demande
   • Voir automatisable (possibilité de restreindre à l'utilisateur actif?)
   • Dans l'idéal le fichier de sortie convertirait le BBCode pour rendre le résultat plus lisible
   
   
2. Utiliser un aspirateur de site basé sur du machine learning (type import.io)
   
   • Aucun besoin de l’assistance des admins
   • Nécessitera une approche en plusieurs étapes pour d'abord identifier les sujets cibles
   • Le résultat sera dur à standardiser et à réutiliser
   • Risque de surcharger le serveur si plusieurs personnes font cela avec des délais irréalistes entre les requêtes (une sécurité existe peut-être déjà?)

Voilà l'état de ma réflexion pour l'instant, qu'en pensez-vous?

Ce message a été modifié par Twisell - 26 May 2016, 09:19.

[schlum]

Le 1 n’est pas envisageable ; IPB ne fournit pas ce service, et d’expérience, les hacks ne sont quasiment impossibles à maintenir.

Pour le 2, pas besoin de machine learning, il y a un lien qui fournit la liste des messages d’un utilisateur ( http://forum.macbidouille.com/index.php?ac...r&mid=13063 ), qui permet ensuite d’accéder aux sujets.

[Twisell]

J'avoue la solution 2 c'est un peu partir à la chasse à l'éléphant avec un avion de chasse.

L'idée que j'avais en tête c'était de récupérer un fichier plat intégrable dans une base de données pour pouvoir aussi l’interroger par la suite.
Par exemple pour faire des stats marantes sur le vocabulaire utilisé , etc... Bref faire un peu de TextMining avec ses propres écrit.

Pour le besoin premier, à savoir sauvegarder ses écrits ta solution (qu'on appellera solution 3) s'impose.
Mais à condition de pouvoir l'automatiser un peu. Si ça se trouve une bonne config de DownThemAll suffira amplement

Mais y a t'il un paramètre secret qui permet d'afficher plus de 30 messages par page?
NB: Je viens de voir que cette interface existait également Télecharger un sujet...
Mais comme tu peux le voir sur le sujet des AIPB, il semble également y a voir une limite, même si elle est bien supérieure à 30 posts.

PS: Je reprécise juste que je souhaiterais télécharger tous les posts des sujets auxquels j'ai participé, pas uniquement mes posts (et c'est possible de les trouver via la recherche on est bien d'accord )

Ce message a été modifié par Twisell - 26 May 2016, 15:13.

[schlum]

NB: Je viens de voir que cette interface existait également Télecharger un sujet...
Mais comme tu peux le voir sur le sujet des AIPB, il semble également y a voir une limite, même si elle est bien supérieure à 30 posts.

Semble limité à 300 messages (10 pages)

[Twisell]

Pour alimenter la discussion, voici une discussion houleuse sur les forums d'IPS:
https://invisionpower.com/forums/topic/4041...media-platform/

Je continuerais de creuser le sujet et je vous tiens au courant

[Sgt.Pepper]

Ben... tu peux toujours aspirer le site (faudra pas être pressé).

[Twisell]

Fait chier, je viens de voir que chez import.io ils ont changés leur business model et ne fournissent plus leur app desktop... (Faut dire leur produit desktop était tellement puissant que l'abonnement n'était pas nécessaire)

Et malgré que j'ai encore l'appli desktop, qui est toujours fonctionnelle, elle ne gère pas correctement les cookies, donc pas possible de crawler le site correctement à partir des résultat de recherche (impossible de rechercher sans être connecté).
Ils ont visiblement désactivé la fonctionnalité pour utiliser le crawler en mode authentifié... voir leur support

EDIT: Je vais chercher du coté de Scrapy/Portia, visiblement c'est une alternative plus OpenSource

EDIT2: D'autres pistes...
https://www.producthunt.com/tech/portia

Mais pff ça me fais braire import.io était de loin la solution la plus aboutie.

Je vais essayer une solution en deux étages:
1. Repérer manuellement "à l'ancienne" avec des regexp les liens dans les résultats recherche (13 pages pour mon acompte, c'est jouable).
2. Ressayer import.io sur les url obtenues à l'étape 1. Comme les forums sont publiques, seul la recherche nécessitait le login.

Ce message a été modifié par Twisell - 27 May 2016, 12:08.

[Twisell]

Bon voila un exemple de fichier résultat à partir d'import.io (et un peu configuré)

 test1_imporio_macbidouile.csv.zip ( 10.87 Ko ) Nombre de téléchargements : 4


C'est la mise en forme en CSV de la première page du Thread AIPB. Ca reste laborieux, mais je tiens le bon bout.
Mais je m'en occuperais plus tard sinon ma copine va me tuer :P

Bon Week-End en attendant

Ce message a été modifié par Twisell - 27 May 2016, 14:56.

[Twisell]

Recete proposée (solution 2) Work in progress :

1. Obtenir la liste de ses post en utilisant l'outil de recherche
   
   • Rentrer son identifiant en cochant la cas nom exact, demander à afficher les résultats par sujets.
   • Parcourir toutes les pages de résultats et les sauvegarder une à une en tant que code source (pas possible d'automatiser à ma connaissance, la recherche est réservée aux membres connectés)
   
   
2. Transformer les documents en liste d'URL à visiter
   Pour cette étape j'utiliserais le logiciel SublimeText qui est un shareware totalement fonctionnel sans être enregistré (mais que si on est gentil c'est bien de soutenir les devs)
   
   
   • Rechercher les balises minipagelink et minipagelinklast
     Utiliser la chaine de recherche <span class="minipagelink (il est important d'omettre le guillemet fermant pour sélectionner les deux type de balise)
   • Etendre la sélection au tag
     Travailler en mode de sélection multiligne sur sublimetext afin de travailler sur tout les éléments sélectionnées en même temps)
   • Copier et coller dans un nouveau document
     Normalement si vous avez réussi chaque ligne correpondra à l'interieur d'un tage et se présentera sous la forme suivante:
     <a href="http://forum.macbidouille.com/index.php?showtopic=396382&amp;st=0&amp;start=0">1</a>
     
   • Utiliser l'édition rapide pour nettoyer le texte et ne conserver que les lien.
     Conservez l'expression &raquo; qui marque les sujet pour lesquels, tout les liens de pages ne sont pas affichés.
     Exeemple:
     
     Code
     http://forum.macbidouille.com/index.php?showtopic=397062&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=397062&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=397062&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=397062&st=120&start=120 &raquo;
     http://forum.macbidouille.com/index.php?showtopic=396246&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396246&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=142705&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=142705&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=142705&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=142705&st=1350&start=1350 &raquo;
     http://forum.macbidouille.com/index.php?showtopic=396978&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396978&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=396901&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396901&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=396901&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=396871&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396871&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=396871&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=396382&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396382&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=396673&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=396673&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=396673&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=396673&st=90&start=90
     
     (...)
   • Localiser les balises &raquo; (NB : correspond au caractère » qui apparait pour aller à la dernière page d'un sujet comportant plus de 5? pages) et les étendre en rajoutant des lignes par intervalle de 30 posts (paramètre st=)
     Par exemple :
     
     Code
     http://forum.macbidouille.com/index.php?showtopic=397062&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=397062&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=397062&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=397062&st=120&start=120 &raquo;
     Devient:
     
     Code
     http://forum.macbidouille.com/index.php?showtopic=397062&st=0&start=0
     http://forum.macbidouille.com/index.php?showtopic=397062&st=30&start=30
     http://forum.macbidouille.com/index.php?showtopic=397062&st=60&start=60
     http://forum.macbidouille.com/index.php?showtopic=397062&st=90&start=90
     http://forum.macbidouille.com/index.php?showtopic=397062&st=120&start=120
   
   (Clairement, pour le post des AIPB ça va prendre un peut de temps et une magouille intermédiaire pour générer un série pourrais être confortable)
   
   
3. Utiliser un webscaper pour télécharger les données de chaque page
   A compléter...
   
   En gros il s'agit d'appliquer la méthode que j'ai utilisé pour produire le fichier résultat dans le post précédent

PS: Franchement ne me dites pas que c'est simple, quand j'aurais fini je posterais une petite requête SQL des famille de 15 lignes qui fait tout en une seule opérations.
Evidement je ne connait pas le nom des tables IPS alors ce sera au jugé, mais si un dev peut prendre de voir ce que ça vaut ce serais cool...

Je continuerais jusqu'au bout de décrire le fonctionnement de la solution 2 pour le principe, mais ce sera tellement franchement pas à la portée de tous, désolé d'avance.

Ce message a été modifié par Twisell - 30 May 2016, 09:06.

[Twisell]

Bon je viens de tester le scrapping sur ma première page de résultat et j'ai deux problème:

• Plus possible avec l'interface actuelle d'import.io de définir un délais entre les tentatives, du coup le serveur renvoi aléatoirement une erreur 500 sur certaines pages.
  ND: J'ai réussi à scrapper 89 pages sur 118 (il y a beaucoup de pages car dans mes 30 derniers sujets actifs il y a l'AIPB).
  (L'ancienne version desktop d'import.io permettait de tout paramétrer au petits oignons, maintenant c'est une option premium, grrmbl)
• La mise en forme du texte récupérée est trop simplifiée, on n'arrive plus à capter qu'est ce qui relève de la citation ou du contenu original de chaque post. Ça limite grandement l’intérêt.

Ce message a été modifié par Twisell - 30 May 2016, 09:27.

[Twisell]

Point d'avancement:
-La version actuelle d'import.io ne permet pas un contrôle assez fin des informations collectées
-Je pourrais me baser sur la version desktop que j'ai sous le coude mais ce ne serait ni reproductible pour d'autres utilisateurs, ni pérenne, le logiciel n'étant plus distribué

Deux options semblent donc possibles:
-Écrire un parseur spécifique, pourquoi pas en utilisant Swift pour le fun: J'ai trouvé ce tutoriel dont les sources sont dispo sur Github et qui pourrait m'inspirer : https://grokswift.com/htmlanddownloads/

-Tenter une approche basée sur du SQL avec le soutien de l'équipe Macbidouille:
Je ne connait évidemment pas le schéma de la base IP.Board, mai si la structure ressemble plus ou moins à ça:
"threads" contient les sujets
"post" contient les posts
"users" contient le utilisateurs

Cette requête devrait marcher avec une table temporaire pour récupérer la liste des sujets, et une seconde requête pour récupérer tout les post

Code

CREATE TEMPORARY TABLE my_threads AS
SELECT distinct posts.threads_id,
FROM post JOIN users
ON post.user_id=users.id
WHERE users.name='Twisell’;

SELECT post.thread_id, threads.name, post.number, users.name, post.content
FROM post
LEFT JOIN my_threads
ON post.thread_id=my_threads.threads_id
LEFT JOIN users
ON post.user_id=users.id
LEFT JOIN threads
ON post.threads_id=threads.id;

Evidement il y aurait un minimum de recherche à faire pour trouver les bon noms de table et de champs.
Et concernant la rapidité de la requête il y a sans doute moyen d’améliorer les performances en l'écrivant en fonction des indexes.
Encapsuler des sous-requêtes pour forcer les jointures dans un certains ordre pourrait aussi aider, mais sans avoir la main dans le camboui c’est difficile de prévoir.

Ce message a été modifié par Twisell - 6 Jun 2016, 23:45.

[chombier]

Je ne suis pas certain de comprendre pourquoi tu veux extraire tous tes messages du forum.
Tu vois un psy en ce moment ?
Sinon, à part se tripoter la nouille, je ne vois pas.

[Twisell]

Voila une requête SELECT tout gentille, faite (et testée)pour MySQL qui ne peut rien casser. Si un gentil admin peut l'executer sur la base des forums et m'envoyer le résultat par mail ca me permettrait d'affiner la requête du dessus.

L'idée est d'utiliser les tables de métadonnées de MySQL pour découvrir la structure de la base d'IP.Board.
On pourrait au besoin restreindre la requête au schéma d'installation d'IP.Board (ou à son suffixe ça dépend de l'install) dans une clause WHERE.

Code

SELECT tables.table_schema,tables.table_name,ordinal_position,column_name,data_type
FROM information_schema.tables JOIN information_schema.columns
ON columns.table_name=tables.table_name AND columns.table_schema=tables.table_schema
ORDER BY table_schema,table_name,ordinal_position;

PS: Je vais me faire violence, mais je m'abstiendrais de répondre aux interventions non-constructives.

Ce message a été modifié par Twisell - 10 Jun 2016, 10:41.

[Twisell]

Point d'info

Le projet est en stand-by pour l'instant, j’attends de voir si la piste SQL est possible.

Un grand merci à baron, Schlum et bad_duck pour les échanges en MP qui ne se voient pas mais font avancer le schmilblick

[pascer]

Je ne suis pas certain de comprendre pourquoi tu veux extraire tous tes messages du forum.
Tu vois un psy en ce moment ?
Sinon, à part se tripoter la nouille, je ne vois pas.

sans doute pour s'aider à vivre en douceur cette transcendance multidimensionnelle avec la Lumière Vibrale dans l’objectif de se préparer à vivre l’Ascension dans les mondes unifiés au moment opportun avant de rencontrer sa lignée interstellaire...

[Twisell]

Reprise lente du projet ce WE dernier:

• Objectif créer une application cocoa pour macOS écrite en swift capable d'extraire le contenu d'un fil et de l'exporter en CSV ou en HTML (et SQLite si pas trop compliqué)
• Je compte m'appuyer sur le framework du WebKit pour qu'il gère à ma place les cookies et offrir une interface relativement simple
• Coté swift j'ai déjà une bonne idée du code à écrire et des boucles qui seront nécessaires.
• Coté Xcode j'ai déjà fait une ébauche de storyboard avec un objet UIwebview
• Pour avancer il faut d'abord que je me forme un peu plus sur les bindings et comment relier correctement l'UI à mon code. Dans mon boulot actuel je suis plus sur des script que sur des UI donc je galère un peu (beaucoup).

Si quelqu’un à un lien sympa ce serait pas de refus (vraiment centré sur l'organisation d'un projet Xcode/cocoa et des bindings, pas besoins de tutos sur le code swift lui-même).

PS: Dans la foulée hier soir j'ai commandé le bouquin de Big Nerd Ranch sur Cocoa, il à l'air très bien foutu et totalement adapté à ce dont j'avais besoin. Je ferais donc aussi un retour dessus au fil de mon avancée.

Ce message a été modifié par Twisell - 26 Jul 2016, 08:34.