Hulu在OLAP场景下数据缓存技术实战
Sophon是Hulu在HOLAP的一个尝试。Hulu底层查询引擎采用Impala,前端可视化采用类似MSTR和Tableau这样的方案,而Sophon则是一个中间件,位于Impala查询系统和可视化系统之间,起到数据建模、数据缓存和数据路由等功能(具体可查看这篇文章)。本文重点讨论数据缓存部分的实现。
{关注大规模数据处理,包括Hadoop,YARN,Spark,Flink,Presto等}
Sophon是Hulu在HOLAP的一个尝试。Hulu底层查询引擎采用Impala,前端可视化采用类似MSTR和Tableau这样的方案,而Sophon则是一个中间件,位于Impala查询系统和可视化系统之间,起到数据建模、数据缓存和数据路由等功能(具体可查看这篇文章)。本文重点讨论数据缓存部分的实现。
Impala是一个SQL on Hadoop的MPP查询引擎,由Cloudera主导开发并捐献给Apache软件基金会,在2017年底正式孵化成为Apache顶级项目。Impala在Hulu的数仓中有很多应用,我们对Impala做了一些内核级别的开发和优化,希望能与大家共同探讨。