Leo en el blog oficial de google que están orgullosos de haber conseguido ordenar 1TeraByte (TB) (1000GB) de datos en 68 segundos con un cluster de 1000 ordenadores. Yahoo lo consiguió con otro cluster de 910 ordenadores en 209 segundos, que tampoco me parece una cifra mala.
Para hacer esta ordenación utilizaron MapReduce que por lo que he podido investigar es un modelo de programación y una aplicación preparada especialmente para procesar y generar grandes conjuntos de datos. El usuario (o usuario avanzado 😉 ) genera un mapa de funciones a ejecutar desde la aplicación y es la propia aplicación la que se encarga de gestionar todas esas llamadas, procesos y generación de datos. Lo que viene siendo una computación distribuida.
Como los de Google querían probar el ‘que pasa si…‘, pusieron 1 PetaByte (PB) (1000TB) a ordenar con este sistema. Y lo que pasa es que lo ordenan en 6 horas y 2 minutos. Increible… Como apunte, ese PB de datos ordenados los escribieron en 48.000 discos duros.
Cada día me sorprenden más los de Google y Google Labs.
Comentarios recientes