自定义映射-使用本机协议减少Cassandra的输入格式化程序

Question

我正在使用(1.2)和Apache还原来处理一些数据。目前，我使用的是来自CqlPagingInputFormat的org.apache.cassandra.hadoop.cql3。此提供程序使用Th残留物来提取数据。它似乎相当慢(在一个3节点集群中，300米记录需要8+小时才能读取)，而且由于存在一个本地二进制协议，我想知道是否有人使用过它。

我不感兴趣的任何其他优化和配置调整-这是一个单独的问题。

我的问题是

1. 是否有一个直接使用Cassandra本机协议的map-还原输入格式化程序的实现？
2. 如果不是，那么编写我自己的程序的第一步是什么，例如使用DataStax驱动程序？

Answer 1

Cassandra 2.0.7包含了用于CQL Hadoop类的本地协议类似物：

org.apache.cassandra.hadoop.cql3.CqlInputFormat org.apache.cassandra.hadoop.cql3.CqlRecordReader org.apache.cassandra.hadoop.cql3.CqlConfigHelper

示例/hadoop_cql3 3_word_count中的WordCount代码已经更新以使用这些类。

介绍这一点的JIRA是https://issues.apache.org/jira/browse/CASSANDRA-6311