Supprimer des millions de fichiers le plus rapidement possible


Trash
Keith Winstein vient de publier les résultats d'une étude intéressante : quelle est la commande Linux / UNIX la plus rapide pour supprimer un million de fichiers vides dans un répertoire ? Pour effectuer cette analyse, il a mesuré le temps écoulé avec la commande time en utilisant successivement des programmes de suppression comme find, rsync et rm.

Porsche RM

Voici le tableau comparatif des résultats :

Commandes utilisées Nombre de fichiers Temps de suppression
rsync -a –delete empty/ s1/ 1000000 6m50.638s
find s2/ -type f -delete 1000000 87m38.826s
find s3/ -type f | xargs -L 100 rm 1000000 83m36.851s
find s4/ -type f | xargs -L 100 -P 100 rm 1000000 78m4.658s
rm -rf s5 1000000 80m33.434s

Grosse surprise, puisque c'est rsync qui est la commande la plus rapide.  En revanche, ce que je n'arrive pas à comprendre c'est pourquoi la commande rm est aussi lente et pourquoi utiliser l'option -a avec la commande rsync ... ?

Voici les spécifications matérielles de la machine utilisée lors des tests :

  • CPU: Intel(R) Core(TM)2 Duo CPU E8400 @ 3.00GHz
  • 4 Go de RAM
  • Disque dur : ST3250318AS: 250G/7200RPM

Source


10 Commentaires pour "Supprimer des millions de fichiers le plus rapidement possible"

Flux des commentaires de cet article Ajouter un commentaire
  •  

    Je suis quand même étonné, 80 min pour supprimer des fichiers ???? D'accord il y en a beaucoup mais ça parait excessif. Ou alors peut-être qu'il s'amuse à faire ses test en ufs.

    RépondreRépondre
    src , le 31 mai 2013 à 08:44
  •  

    En effet, le '-a' est certainement là par habitude parce que, à part pour le '-r' inclus, cela n'a pas vraiment d’intérêt. Et encore, vu que les fichiers sont censés être tous dans le même dossier...

    RépondreRépondre
    Ihryll , le 31 mai 2013 à 09:20
  •  

    Sur mon système, impossible d'effacer plus de 80000 fichiers d'un coup (avec rm), ce qui pose pas mal de soucis... Quelqu'un a deja vu ça ?

    RépondreRépondre
    Chuck , le 31 mai 2013 à 10:06
  •  

    @chuck essaye tmpreaper, bien plus rapide que rm et permet de jouer sur la date de modification du fichier comme critère de suppression

    RépondreRépondre
    amo__ , le 31 mai 2013 à 10:09
  •  

    @amo__ : Je note, meme si je crois que rm aussi tu peux jouer avec la date (ou alors je sais plus si c'est combiné avec un find), mais la c'est des machines du boulot et donc je peux pas installer ce que je veux.

    RépondreRépondre
    Chuck , le 31 mai 2013 à 10:32
  •  

    Dommage, il a pas testé avec mv sX /dev/null/.

    RépondreRépondre
    Al , le 31 mai 2013 à 11:36
  •  

    cool bien que je j'utilise tre rarement Linux, mais ou est le rapport avec la porche?

    RépondreRépondre
    bossa , le 31 mai 2013 à 14:17
  •  

    @bossa : la porsche c'est pour illustrer au passage du Flash ! si le flash enregistre la commande, plouf plus rien :)

    RépondreRépondre
    Pinkie , le 31 mai 2013 à 14:48
  •  

    @bossa: regarde la plaque de la Porsch "rm -rf", c'est une commande pour supprimer un repertoire (avec -f pour forcer la suppression). De plus je pense que la Porsch illustre la vitesse, en l'occurence ici, la vitesse de suppression.

    EDIT: j'avais pas vu l'étoile en plus "rm -rf *".

    RépondreRépondre
    LinuxUser , le 31 mai 2013 à 17:41
  •  

    @Al : tu fais le test et tu nous redis ? :-)

    @bossa : l'explication de @LinuxUser est la bonne. On peut pas faire mieux en terme de relation photo / article sur ce coup-là. :-)

    RépondreRépondre
    pti-seb , le 2 juin 2013 à 14:41
 

Ajouter un commentaire

actualité android apache apple astuce astuces bash bilboblog blog boot chrome clavier commande commandes conky date debian Desktop développement elementary exploit faille fedora firefox flash gimp gnome google graphique Graphisme hack hacking Hardware humour intel internet iphone jailbreak Jeux Kde kernel libre Linux log logiciels Logiciels Libres lucid lynx maemo mail maquette metasploit microsoft mobile mockup monitoring mozilla multi-touch musique mysql n900 nautilus nokia noyau openoffice open source password photos php Planet publicité red hat redhat rpm réseau screenshot script serveur serveurs shell sql ssh statistiques sysadmin system Sécurité thème tux-planet tv twitter ubuntu unity vidéo vidéos vlc voyage wallpaper windows wordpress yum