Facebook : 30 000 serveurs et 25 To de logs par jours


Facebook
En avril 2008, on avait déjà appris que l'infrastructure de Facebook était composée d'environ 10 000 serveurs, dont 1800 dédiés à la base de données MySQL. Tout simplement impressionnant, surtout quand on sait que les bases étaient administrées par seulement deux personnes. Mais la croissance de ce site ultra populaire ne s'est pas arrêtée là.

Facebook Servers

On apprend aujourd'hui par le biais de Jeff Rothschild, vice-président technique chez Facebook, que la firme aurait dépassé les 30 000 serveurs en un an et demi. Ce qui explique au passage pourquoi la société a emprunté 100 millions de dollars il y a quelques mois.

Si l'on fait un calcul rapide, cela représente une expansion de 37 serveurs par jour :

(30 000 - 10 000) / 547 jours = 37

Pas de doute, l'ensemble de ces serveurs tournent sous Linux vu les technologies utilisées : Apache, MySQL, PHP, Memcached, Python ...

Autre information importante, ces 30 000 serveurs génèrent plus de 25 To de logs par jour. Et en terme d'images, la barre des 80 milliards de photos stockées aurait également été dépassée.

De quoi donner le tourni à n'importe quel sysadmin. Mais bon, tout cela est rien comparé à Google, qui possèderait plus de 2 millions de serveurs répartis sur une trentaine de centres de calcul...


12 Commentaires pour "Facebook : 30 000 serveurs et 25 To de logs par jours"

Flux des commentaires de cet article Ajouter un commentaire
  •  

    Seulement 2 Admin ? Impossible !

    RépondreRépondre
    Korbeau , le 15 octobre 2009 à 18:59
  •  

    Bsr
    J'ai entendu dire que le/notre fameux FB tournait sur un mode P2P (seveurs décentralisés)
    Y a du vrai ou pas dans cette affirmation ?
    merci à vous tte réponse

    RépondreRépondre
    Anonyme , le 15 octobre 2009 à 19:16
  •  

    @Korbeau : si si à l'époque, en avril 2008, il y avait que deux DBA. Bon cela à surement changé depuis.

    @Anonymous : Aucune idée ...

    RépondreRépondre
    pti-seb , le 15 octobre 2009 à 19:23
  •  

    En fait en 1 an et demi ils ont investi dans 20 000 nouveaux serveurs vu qu'ils en avaient déjà 10 000 en avril 2008.

    Ça ne fait "que" 37 serveurs par jours ;-)

    Après comme Korbeau, je doute que 2 sysadmin pouvaient gérer 10 000 serveurs et monter une telle infra sans aide extérieure.

    Pour le p2p je doute un peu aussi que ça soit le cas. En effet, l'infrastructure n'aurait pas la même importance dans le cas d'un service qui se distribue de client en client comme définit par le p2p. Et cela impliquerais une forme de "client" de service un peu moins transparent que l'actuel client web.

    En tout cas, c'est très intéressant d'avoir une idée des chiffres et logiciels que génère un tel phénomène.

    RépondreRépondre
    Creasy , le 15 octobre 2009 à 21:02
  •  

    Vous avez mal lu, les deux DBA c'est juste pour les 1800 serveurs MySQL. Après ce sont les propos de Jeff Rothschild ...

    @Creasy : bien vu, je revois mon calcul.

    RépondreRépondre
    pti-seb , le 15 octobre 2009 à 22:15
  •  

    Comment se fait la synchronisation quasi real time des fichiers sur ce genre d'architecture serveurs ?
    Ca doit rsync non stop .. mais le temps du rsync (ou autres) est déjà un handicap vu les volumes à traiter non ?

    RépondreRépondre
    sid , le 15 octobre 2009 à 22:47
  •  

    @pti-seb : Le nombre de serveurs m'impressionne, mais le plus, ce sont les logs ... Enfin, Jeff Rothschild ne précise pas de quel type de log il s'agit, pour moi il annonce ce volume histoire de balancer des gros chiffres ^^
    @sid : rsync n'est pas la seule alternative. Les seuls infos qu'ils ont à synchroniser sont les bases de données, et encore, il est possible que les données soient réparties par pays ou pas application, etc ...

    RépondreRépondre
    Chibani , le 16 octobre 2009 à 07:49
  •  

    @Chibani : effectivement, pas beaucoup de précision sur les logs. De toute façon, il n'y a que deux catégories à mon avis : les logs des serveurs et les logs de l'application Facebook dans son ensemble. Les 25 To /jours englobe t-il les deux ? Aucune idée.

    @sid @Chibani : Pour les images, il doit effectivement y avoir un problème de stokage. Peut-être utilisent t-ils GFS (Global File System) ou un équivalent.

    RépondreRépondre
    pti-seb , le 16 octobre 2009 à 08:30
  •  

    Ces chiffres sont effrayants, cela a de quoi rendre completement paranoiaque !

    RépondreRépondre
    Lucien , le 23 octobre 2009 à 00:38
  •  

    A mon avis, il y'a plus du cluster là dessous. Il est vrai que les 25T de logs par jours ne sont plus préciser que çà. Mais bon, j'y crois. Rien que les logs d'Apache doivent être impressionnants. Ce n'est quand pas le moins verbeux. Pour le nombre de serveurs, si ils gèrents les logs via des serveurs dédiés (syslog ou autre, ce que j'espère pour eux), c'est évident qu'il faut un espace de stockage qui devient vite impressionnant.

    RépondreRépondre
    Le Seb , le 27 novembre 2009 à 11:51
  •  

    Moi ce qui m'impressionne c'est à quoi ça sert...

    RépondreRépondre
    marc , le 18 avril 2010 à 13:47
  •  

    Marc +1

    RépondreRépondre
    papache , le 13 mars 2011 à 11:43
 

Ajouter un commentaire

actualité android apache apple astuce astuces bash bilboblog blog boot chrome clavier commande commandes conky date debian Desktop développement elementary exploit faille fedora firefox flash gimp gnome google graphique Graphisme hack hacking Hardware humour intel internet iphone jailbreak Jeux Kde kernel libre Linux log logiciels Logiciels Libres lucid lynx maemo mail maquette metasploit microsoft mobile mockup monitoring mozilla multi-touch musique mysql n900 nautilus nokia noyau openoffice open source password photos php Planet publicité red hat redhat rpm réseau screenshot script serveur serveurs shell sql ssh statistiques sysadmin system Sécurité thème tux-planet tv twitter ubuntu unity vidéo vidéos vlc voyage wallpaper windows wordpress yum