sobota 22. listopadu 2008

Official Google Blog: třídění 1 petabytu s MapReduce

Grzegorz Czajkowski popisuje v postu na Official Google Blog Sorting 1PB with MapReduce, jak se dokáže vypořádat MapReduce s tříděním dat:
  • 1 TB uložený v Google File System jako 10 miliard stobytových nekomprimovaných textových záznamů se setřídí na tisíci počítačů během 68 sekund.
  • 1 PB (1000 TB, pro srovnání 12krát víc než je objem dat webového archivu knihovny amerického Kongresu) ve stejném formátu se setřídí na 4000 počítačů (data jsou na 48 000 disků) během 6 hodin a 8 minut.
Aktualizováno: O Google MapReduce bude přednáška Filipa Zavorala z katedry softwarového inženýrství MFF UK v úterý 25. listopadu od 17,20 v místosti S5 v budově MFF UK, Malostranské náměstí 25 v Praze 1.

Žádné komentáře: