Evaluación comparativa de sistemas de procesamiento de flujos: StreamBench

Las tecnologías de procesamiento por lotes (como MapReduce, Hive, Pig) han madurado y se utilizan ampliamente en la industria. Estos sistemas han resuelto con éxito el problema del procesamiento de grandes volúmenes de datos. Sin embargo, primero hay que recopilar una gran cantidad de datos y almacenarlos en una base de datos o en un sistema de archivos. Esto lleva mucho tiempo. Luego hay que esperar a que terminen los trabajos de análisis por lotes para obtener resultados. Hay muchos casos en los que se necesitan resultados analizados de una secuencia ilimitada de datos en segundos o subsegundos. Para satisfacer la creciente demanda de procesamiento de estos datos en flujo, se han implementado y adoptado ampliamente varios sistemas de procesamiento en flujo, como Apache Storm, Apache Spark, IBM InfoSphere Streams y Apache Flink. Sin embargo, cómo evaluar los sistemas de procesamiento de flujo antes de elegir uno en el desarrollo de producción es una cuestión abierta. En este libro, presentamos StreamBench, un marco de referencia para facilitar las comparaciones de rendimiento de los sistemas de procesamiento de flujos. Una característica clave del marco StreamBench es que es extensible: permite definir fácilmente nuevas cargas de trabajo, además de facilitar la evaluación comparativa de nuevos sistemas de procesamiento de flujos.