Отображение строки cassandra параметризуемому типу в Spark RDD

Question

Я пытаюсь сопоставить строку cassandra с параметризованным типом, используя spark-cassandra-connector. Я пытался определить отображение с помощью неявно определенный columnMapper, таким образом:

class Foo[T<:Bar:ClassTag:RowReaderFactory] { 
    implicit object Mapper extends JavaBeanColumnMapper[T](
    Map("id" -> "id", 
     "timestamp" -> "ts")) 

    def doSomeStuff(operations: CassandraTableScanRDD[T]): Unit = { 
    println("do some stuff here") 
    } 
} 

Однако, я бегу в следующее сообщение об ошибке, которую я считаю, это связано с тем, что я передаю в RowReaderFactory и неправильно указывая отображение для RowReaderFactory. Любая идея, как указать информацию о сопоставлении для RowReaderFactory?

Exception in thread "main" java.lang.IllegalArgumentException: Failed to map constructor parameter timestamp in Bar to a column of MyNamespace 
    at com.datastax.spark.connector.mapper.DefaultColumnMapper$$anonfun$4$$anonfun$apply$1.apply(DefaultColumnMapper.scala:78) 
    at com.datastax.spark.connector.mapper.DefaultColumnMapper$$anonfun$4$$anonfun$apply$1.apply(DefaultColumnMapper.scala:78) 
    at scala.Option.getOrElse(Option.scala:120) 
    at com.datastax.spark.connector.mapper.DefaultColumnMapper$$anonfun$4.apply(DefaultColumnMapper.scala:78) 
    at com.datastax.spark.connector.mapper.DefaultColumnMapper$$anonfun$4.apply(DefaultColumnMapper.scala:76) 
    at scala.collection.TraversableLike$WithFilter$$anonfun$map$2.apply(TraversableLike.scala:722) 
    at scala.collection.immutable.List.foreach(List.scala:318) 
    at scala.collection.TraversableLike$WithFilter.map(TraversableLike.scala:721) 
    at com.datastax.spark.connector.mapper.DefaultColumnMapper.columnMapForReading(DefaultColumnMapper.scala:76) 
    at com.datastax.spark.connector.rdd.reader.GettableDataToMappedTypeConverter.<init>(GettableDataToMappedTypeConverter.scala:56) 
    at com.datastax.spark.connector.rdd.reader.ClassBasedRowReader.<init>(ClassBasedRowReader.scala:23) 
    at com.datastax.spark.connector.rdd.reader.ClassBasedRowReaderFactory.rowReader(ClassBasedRowReader.scala:48) 
    at com.datastax.spark.connector.rdd.reader.ClassBasedRowReaderFactory.rowReader(ClassBasedRowReader.scala:43) 
    at com.datastax.spark.connector.rdd.CassandraTableRowReaderProvider$class.rowReader(CassandraTableRowReaderProvider.scala:48) 
    at com.datastax.spark.connector.rdd.CassandraTableScanRDD.rowReader$lzycompute(CassandraTableScanRDD.scala:59) 
    at com.datastax.spark.connector.rdd.CassandraTableScanRDD.rowReader(CassandraTableScanRDD.scala:59) 
    at com.datastax.spark.connector.rdd.CassandraTableRowReaderProvider$class.verify(CassandraTableRowReaderProvider.scala:147) 
    at com.datastax.spark.connector.rdd.CassandraTableScanRDD.verify(CassandraTableScanRDD.scala:59) 
    at com.datastax.spark.connector.rdd.CassandraTableScanRDD.getPartitions(CassandraTableScanRDD.scala:143) 

Answer 1

Вы можете определить, что подразумевается в сопутствующем объект Foo следующим образом:

object Foo { 
    implicit object Mapper extends JavaBeanColumnMapper[T](
    Map("id" -> "id", 
     "timestamp" -> "ts")) 
} 

Scala будет выглядеть в сопутствующем объект класса при попытке найти неявный экземпляр для этого класса. Вы можете определить его в области, где требуется неявное, если вы хотите, но вы, вероятно, захотите добавить в объект-компаньон, поэтому вам не нужно его повторять, когда это необходимо.

Answer 2

Оказывается, что columnMapper должен быть создан в рамках которой экземпляр Foo создается, а не в самой Foo.