IPB

Bienvenue invité ( Connexion | Inscription )

 
Reply to this topicStart new topic
> recherche de doublon dans un fichier texte, doublon dans un fichier
Options
bluesilence
posté 8 Aug 2017, 18:00
Message #1


Macbidouilleur de vermeil !
****

Groupe : Membres
Messages : 1 078
Inscrit : 24 Jul 2001
Membre no 543



Bonjour,

J'ai un fichier de 150 000 lignes.

J'ai absolument besoin de savoir s'il y a plusieurs lignes identiques.

exemple concret:

Dans mon fichier j'ai:

265
845
945
845
457
731
157

Il y a 2 fois le texte 845 mais j'aimerais qu'il me détecte ce doublon automatiquement car avec avec 150 000 lignes je ne vais pas faire une recherche manuelle ligne à ligne smile.gif

Comment faire?

J'utilise Gemini 2 pour les doublons de fichiers mais il ne detecte pas les doublons dans un fichier.

Merci

Ce message a été modifié par bluesilence - 8 Aug 2017, 18:00.


--------------------
Hackintosh : i7 8700k 3,7Ghz - Carte mère Asus Maximus X Hero - Refroidissemnt liquide Corsair H100i V2 - 5 Ventilateurs Noctua NF-F12 - 2x32 Gigas de rams Vengeance DDR4 3200Mhz - Alim Corsair TX850M 80+Gold - Magic Keyboard Gris sidéral - Boitier Be Quiet Silent Base 800 Silver - 1xSamsung Evo 960 250G (pour windows) - 1xSeagate firecuda 530 1TB (pour macos) - 3x Crucial SSD MX500 - Carte son Antelope Synergy Zencore - Carte GFX AMD 580 (pour MACOS) - Carte GFX 3080TI (pour windows)
Go to the top of the page
 
+Quote Post
RenNa
posté 9 Aug 2017, 02:01
Message #2


Nouveau Membre


Groupe : Membres
Messages : 33
Inscrit : 25 Jan 2003
Membre no 5 816



Et bien le simple logiciel TEXT EDIT le bien nommé fait ça tout simplement.
Barre de Menu > Edition > Rechercher

Tu peux rechercher un mot, une phrase à l'identique etc... Il les met en sur-brillance et en plus il t'indique le nombre de doublons juste au bout de ta ligne de recherche comme ça tu sais où tu en es, à savoir si il en reste encore au fur et à mesure que tu supprimes. Et dans le menu déroulant de Rechercher tu as même la possibilité de rechercher le suivant avec un raccourci commande-G, même pas besoin de faire dérouler ton texte.

Si TEXT EDIT le fait tous les autres traitements de texte doivent le faire wink.gif

Ce message a été modifié par RenNa - 9 Aug 2017, 02:11.


--------------------
"La vie ne vaut d'être vécue qu'à travers ses passions. Et elle n'a de sens que dans celui d'accomplir nos rêves"
RenNa.fr
Go to the top of the page
 
+Quote Post
bluesilence
posté 9 Aug 2017, 06:15
Message #3


Macbidouilleur de vermeil !
****

Groupe : Membres
Messages : 1 078
Inscrit : 24 Jul 2001
Membre no 543



Merci pour ta réponse, mais ce n'est pas ce que je recherche. (où alors je m'y prends mal)

avec text edit je suis obligé d'entrer ce que je recherche et justement c'est ce que je ne veux pas faire (imagine s'il faut que j'entre les 150 000 lignes une par une)

J'ai besoin qu'il me cherche les doublons automatiquement sans que je n'aie à entrer manuellement quoi que ce soit

Est-ce qu'il permet ça?


--------------------
Hackintosh : i7 8700k 3,7Ghz - Carte mère Asus Maximus X Hero - Refroidissemnt liquide Corsair H100i V2 - 5 Ventilateurs Noctua NF-F12 - 2x32 Gigas de rams Vengeance DDR4 3200Mhz - Alim Corsair TX850M 80+Gold - Magic Keyboard Gris sidéral - Boitier Be Quiet Silent Base 800 Silver - 1xSamsung Evo 960 250G (pour windows) - 1xSeagate firecuda 530 1TB (pour macos) - 3x Crucial SSD MX500 - Carte son Antelope Synergy Zencore - Carte GFX AMD 580 (pour MACOS) - Carte GFX 3080TI (pour windows)
Go to the top of the page
 
+Quote Post
audionuma
posté 9 Aug 2017, 07:22
Message #4


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 2 031
Inscrit : 27 Apr 2004
Membre no 18 176



Avec TextWrangler :
Ouvrir le fichier
Menu Text > Process duplicate lines

Si tu veux supprimer les doublons et que tu peux changer l'ordre des lignes :
Terminal :
Code
sort -u doublons.txt > trie_sans_doublons.txt


Ce message a été modifié par audionuma - 9 Aug 2017, 07:23.


--------------------
Membre du club des AIPBP (Anciens Inscrits Pas Beaucoup de Posts) Voir la liste
Futur ex-macbidouilleur, sous Dell / Ubuntu depuis 2021 !
Go to the top of the page
 
+Quote Post
RenNa
posté 9 Aug 2017, 17:56
Message #5


Nouveau Membre


Groupe : Membres
Messages : 33
Inscrit : 25 Jan 2003
Membre no 5 816



Citation (bluesilence @ 9 Aug 2017, 07:15) *
Merci pour ta réponse, mais ce n'est pas ce que je recherche. (où alors je m'y prends mal)

avec text edit je suis obligé d'entrer ce que je recherche et justement c'est ce que je ne veux pas faire (imagine s'il faut que j'entre les 150 000 lignes une par une)

J'ai besoin qu'il me cherche les doublons automatiquement sans que je n'aie à entrer manuellement quoi que ce soit

Est-ce qu'il permet ça?


EDIT :
Je viens de comprendre ce que tu veux, enfin je crois :
http://textmechanic.com/text-tools/basic-t...uplicate-lines/

Ce message a été modifié par RenNa - 9 Aug 2017, 18:34.


--------------------
"La vie ne vaut d'être vécue qu'à travers ses passions. Et elle n'a de sens que dans celui d'accomplir nos rêves"
RenNa.fr
Go to the top of the page
 
+Quote Post
bluesilence
posté 9 Aug 2017, 18:11
Message #6


Macbidouilleur de vermeil !
****

Groupe : Membres
Messages : 1 078
Inscrit : 24 Jul 2001
Membre no 543



Génial merci beaucoup!


--------------------
Hackintosh : i7 8700k 3,7Ghz - Carte mère Asus Maximus X Hero - Refroidissemnt liquide Corsair H100i V2 - 5 Ventilateurs Noctua NF-F12 - 2x32 Gigas de rams Vengeance DDR4 3200Mhz - Alim Corsair TX850M 80+Gold - Magic Keyboard Gris sidéral - Boitier Be Quiet Silent Base 800 Silver - 1xSamsung Evo 960 250G (pour windows) - 1xSeagate firecuda 530 1TB (pour macos) - 3x Crucial SSD MX500 - Carte son Antelope Synergy Zencore - Carte GFX AMD 580 (pour MACOS) - Carte GFX 3080TI (pour windows)
Go to the top of the page
 
+Quote Post

Reply to this topicStart new topic
1 utilisateur(s) sur ce sujet (1 invité(s) et 0 utilisateur(s) anonyme(s))
0 membre(s) :

 



Nous sommes le : 20th April 2024 - 17:28