IPB

Bienvenue invité ( Connexion | Inscription )

> recherche de doublon dans un fichier texte, doublon dans un fichier
Options
bluesilence
posté 8 Aug 2017, 18:00
Message #1


Macbidouilleur de vermeil !
****

Groupe : Membres
Messages : 1 107
Inscrit : 24 Jul 2001
Membre no 543



Bonjour,

J'ai un fichier de 150 000 lignes.

J'ai absolument besoin de savoir s'il y a plusieurs lignes identiques.

exemple concret:

Dans mon fichier j'ai:

265
845
945
845
457
731
157

Il y a 2 fois le texte 845 mais j'aimerais qu'il me détecte ce doublon automatiquement car avec avec 150 000 lignes je ne vais pas faire une recherche manuelle ligne à ligne smile.gif

Comment faire?

J'utilise Gemini 2 pour les doublons de fichiers mais il ne detecte pas les doublons dans un fichier.

Merci

Ce message a été modifié par bluesilence - 8 Aug 2017, 18:00.


--------------------
Hackintosh : i7 8700k 3,7Ghz - Carte mère Asus Maximus X Hero - Refroidissemnt liquide Corsair H100i V2 - 5 Ventilateurs Noctua NF-F12 - 2x32 Gigas de rams Vengeance DDR4 3200Mhz - Alim Corsair TX1500M 80+Gold - Magic Keyboard Gris sidéral - Boitier Be Quiet Silent Base 800 Silver - 1xSamsung Evo 960 250G (pour windows) - 1xSeagate firecuda 530 1TB (pour macos) - 3x Crucial SSD MX500 - Carte son Antelope Synergy Zencore - Carte GFX AMD 580 (pour MACOS) - Carte GFX 3080TI (pour windows)
Go to the top of the page
 
+Quote Post
 
Start new topic
Réponse(s)
audionuma
posté 9 Aug 2017, 07:22
Message #2


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 2 031
Inscrit : 27 Apr 2004
Membre no 18 176



Avec TextWrangler :
Ouvrir le fichier
Menu Text > Process duplicate lines

Si tu veux supprimer les doublons et que tu peux changer l'ordre des lignes :
Terminal :
Code
sort -u doublons.txt > trie_sans_doublons.txt


Ce message a été modifié par audionuma - 9 Aug 2017, 07:23.


--------------------
Membre du club des AIPBP (Anciens Inscrits Pas Beaucoup de Posts) Voir la liste
Futur ex-macbidouilleur, sous Dell / Ubuntu depuis 2021 !
Go to the top of the page
 
+Quote Post

Les messages de ce sujet


Reply to this topicStart new topic
1 utilisateur(s) sur ce sujet (1 invité(s) et 0 utilisateur(s) anonyme(s))
0 membre(s) :

 



Nous sommes le : 4th November 2025 - 08:18