这个是一个典型的SQL on Hadoop使用场景,我在PPT里面也提到了解决方案。
一般来说就是通过Sqoop任务把MySQL里面的表格导入HDFS上,然后在HDFS上和log进行各种查询操作。可以使用mapreduce也可以使用Hive,推荐使用Hive,因为你从MySQL里面导入的数据是结构化的。
如何在MySql中记录SQL日志(例如SqlServerProfiler),麻烦给回复
这个是一个典型的SQL on Hadoop使用场景,我在PPT里面也提到了解决方案。
一般来说就是通过Sqoop任务把MySQL里面的表格导入HDFS上,然后在HDFS上和log进行各种查询操作。可以使用mapreduce也可以使用Hive,推荐使用Hive,因为你从MySQL里面导入的数据是结构化的。