Commentaires sur : Facebook : 30 000 serveurs et 25 To de logs par jours http://www.tux-planet.fr/facebook-30-000-serveurs-et-25-to-de-logs-par-jours/ Linux et les Logiciels Libres Sat, 11 Feb 2012 14:18:46 +0000 hourly 1 http://wordpress.org/?v=3.3.1 Par : papache http://www.tux-planet.fr/facebook-30-000-serveurs-et-25-to-de-logs-par-jours/#comment-74924 papache Sun, 13 Mar 2011 10:43:38 +0000 http://www.tux-planet.fr/?p=4030#comment-74924 Marc +1 Marc +1

]]> Par : marc http://www.tux-planet.fr/facebook-30-000-serveurs-et-25-to-de-logs-par-jours/#comment-54511 marc Sun, 18 Apr 2010 11:47:26 +0000 http://www.tux-planet.fr/?p=4030#comment-54511 Moi ce qui m'impressionne c'est à quoi ça sert... Moi ce qui m'impressionne c'est à quoi ça sert...

]]> Par : Le Seb http://www.tux-planet.fr/facebook-30-000-serveurs-et-25-to-de-logs-par-jours/#comment-47098 Le Seb Fri, 27 Nov 2009 10:51:46 +0000 http://www.tux-planet.fr/?p=4030#comment-47098 A mon avis, il y'a plus du cluster là dessous. Il est vrai que les 25T de logs par jours ne sont plus préciser que çà. Mais bon, j'y crois. Rien que les logs d'Apache doivent être impressionnants. Ce n'est quand pas le moins verbeux. Pour le nombre de serveurs, si ils gèrents les logs via des serveurs dédiés (syslog ou autre, ce que j'espère pour eux), c'est évident qu'il faut un espace de stockage qui devient vite impressionnant. A mon avis, il y'a plus du cluster là dessous. Il est vrai que les 25T de logs par jours ne sont plus préciser que çà. Mais bon, j'y crois. Rien que les logs d'Apache doivent être impressionnants. Ce n'est quand pas le moins verbeux. Pour le nombre de serveurs, si ils gèrents les logs via des serveurs dédiés (syslog ou autre, ce que j'espère pour eux), c'est évident qu'il faut un espace de stockage qui devient vite impressionnant.

]]> Par : Lucien http://www.tux-planet.fr/facebook-30-000-serveurs-et-25-to-de-logs-par-jours/#comment-45448 Lucien Thu, 22 Oct 2009 22:38:14 +0000 http://www.tux-planet.fr/?p=4030#comment-45448 Ces chiffres sont effrayants, cela a de quoi rendre completement paranoiaque ! Ces chiffres sont effrayants, cela a de quoi rendre completement paranoiaque !

]]> Par : pti-seb http://www.tux-planet.fr/facebook-30-000-serveurs-et-25-to-de-logs-par-jours/#comment-45160 pti-seb Fri, 16 Oct 2009 06:30:12 +0000 http://www.tux-planet.fr/?p=4030#comment-45160 @Chibani : effectivement, pas beaucoup de précision sur les logs. De toute façon, il n'y a que deux catégories à mon avis : les logs des serveurs et les logs de l'application Facebook dans son ensemble. Les 25 To /jours englobe t-il les deux ? Aucune idée. @sid @Chibani : Pour les images, il doit effectivement y avoir un problème de stokage. Peut-être utilisent t-ils <a href="http://fr.wikipedia.org/wiki/Global_File_System" rel="nofollow">GFS</a> (Global File System) ou un équivalent. @Chibani : effectivement, pas beaucoup de précision sur les logs. De toute façon, il n'y a que deux catégories à mon avis : les logs des serveurs et les logs de l'application Facebook dans son ensemble. Les 25 To /jours englobe t-il les deux ? Aucune idée.

@sid @Chibani : Pour les images, il doit effectivement y avoir un problème de stokage. Peut-être utilisent t-ils GFS (Global File System) ou un équivalent.

]]> Par : Chibani http://www.tux-planet.fr/facebook-30-000-serveurs-et-25-to-de-logs-par-jours/#comment-45159 Chibani Fri, 16 Oct 2009 05:49:49 +0000 http://www.tux-planet.fr/?p=4030#comment-45159 @pti-seb : Le nombre de serveurs m'impressionne, mais le plus, ce sont les logs ... Enfin, Jeff Rothschild ne précise pas de quel type de log il s'agit, pour moi il annonce ce volume histoire de balancer des gros chiffres ^^ @sid : rsync n'est pas la seule alternative. Les seuls infos qu'ils ont à synchroniser sont les bases de données, et encore, il est possible que les données soient réparties par pays ou pas application, etc ... @pti-seb : Le nombre de serveurs m'impressionne, mais le plus, ce sont les logs ... Enfin, Jeff Rothschild ne précise pas de quel type de log il s'agit, pour moi il annonce ce volume histoire de balancer des gros chiffres ^^
@sid : rsync n'est pas la seule alternative. Les seuls infos qu'ils ont à synchroniser sont les bases de données, et encore, il est possible que les données soient réparties par pays ou pas application, etc ...

]]> Par : sid http://www.tux-planet.fr/facebook-30-000-serveurs-et-25-to-de-logs-par-jours/#comment-45149 sid Thu, 15 Oct 2009 20:47:13 +0000 http://www.tux-planet.fr/?p=4030#comment-45149 Comment se fait la synchronisation quasi real time des fichiers sur ce genre d'architecture serveurs ? Ca doit rsync non stop .. mais le temps du rsync (ou autres) est déjà un handicap vu les volumes à traiter non ? Comment se fait la synchronisation quasi real time des fichiers sur ce genre d'architecture serveurs ?
Ca doit rsync non stop .. mais le temps du rsync (ou autres) est déjà un handicap vu les volumes à traiter non ?

]]> Par : pti-seb http://www.tux-planet.fr/facebook-30-000-serveurs-et-25-to-de-logs-par-jours/#comment-45145 pti-seb Thu, 15 Oct 2009 20:15:14 +0000 http://www.tux-planet.fr/?p=4030#comment-45145 Vous avez mal lu, les deux DBA c'est juste pour les 1800 serveurs MySQL. Après ce sont les propos de Jeff Rothschild ... @Creasy : bien vu, je revois mon calcul. Vous avez mal lu, les deux DBA c'est juste pour les 1800 serveurs MySQL. Après ce sont les propos de Jeff Rothschild ...

@Creasy : bien vu, je revois mon calcul.

]]> Par : Creasy http://www.tux-planet.fr/facebook-30-000-serveurs-et-25-to-de-logs-par-jours/#comment-45142 Creasy Thu, 15 Oct 2009 19:02:21 +0000 http://www.tux-planet.fr/?p=4030#comment-45142 En fait en 1 an et demi ils ont investi dans 20 000 nouveaux serveurs vu qu'ils en avaient déjà 10 000 en avril 2008. Ça ne fait "que" 37 serveurs par jours ;-) Après comme Korbeau, je doute que 2 sysadmin pouvaient gérer 10 000 serveurs et monter une telle infra sans aide extérieure. Pour le p2p je doute un peu aussi que ça soit le cas. En effet, l'infrastructure n'aurait pas la même importance dans le cas d'un service qui se distribue de client en client comme définit par le p2p. Et cela impliquerais une forme de "client" de service un peu moins transparent que l'actuel client web. En tout cas, c'est très intéressant d'avoir une idée des chiffres et logiciels que génère un tel phénomène. En fait en 1 an et demi ils ont investi dans 20 000 nouveaux serveurs vu qu'ils en avaient déjà 10 000 en avril 2008.

Ça ne fait "que" 37 serveurs par jours ;-)

Après comme Korbeau, je doute que 2 sysadmin pouvaient gérer 10 000 serveurs et monter une telle infra sans aide extérieure.

Pour le p2p je doute un peu aussi que ça soit le cas. En effet, l'infrastructure n'aurait pas la même importance dans le cas d'un service qui se distribue de client en client comme définit par le p2p. Et cela impliquerais une forme de "client" de service un peu moins transparent que l'actuel client web.

En tout cas, c'est très intéressant d'avoir une idée des chiffres et logiciels que génère un tel phénomène.

]]> Par : pti-seb http://www.tux-planet.fr/facebook-30-000-serveurs-et-25-to-de-logs-par-jours/#comment-45137 pti-seb Thu, 15 Oct 2009 17:23:40 +0000 http://www.tux-planet.fr/?p=4030#comment-45137 @Korbeau : si si à l'époque, en avril 2008, il y avait que deux DBA. Bon cela à surement changé depuis. @Anonymous : Aucune idée ... @Korbeau : si si à l'époque, en avril 2008, il y avait que deux DBA. Bon cela à surement changé depuis.

@Anonymous : Aucune idée ...

]]>