Как реализовать lazy db data fetching using spring

Question

Прежде чем описывать мою проблему, я хочу сообщить вам, что я новичок весной.

Так вот я просто кладу пример кода, что я делаю для выборки данных из БД с помощью JdbcTemplate:

SimpleDriverDataSource dataSource = new SimpleDriverDataSource(); 
    dataSource.setDriver(new org.apache.derby.jdbc.EmbeddedDriver()); 
    dataSource.setUrl("jdbc:derby:C:/Users/mypc/Downloads/db-derby-10.12.1.1-bin/db-derby-10.12.1.1-bin/demo/databases/toursdb;create=true"); 
    JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource); 
    List<Map<String, Object>> rows = jdbcTemplate.queryForList("select * from " + tableName); 
    dataSource.getConnection().close(); 
    System.out.println(rows); 

Так вот я вложил в ResultSet карту, а затем вернуть его. Проблема заключается в том, что он выбрасывает исключение памяти кучи java для большого массива данных (как я уже упоминал выше, для примера используется код).

Теперь я изменяю эту реализацию с помощью RowCallbackHandler().

Так что мой модифицированный код теперь

  SimpleDriverDataSource dataSource = new SimpleDriverDataSource(); 
      dataSource.setDriver(new org.apache.derby.jdbc.EmbeddedDriver()); 
      dataSource.setUrl("jdbc:derby:C:/Users/mypc/Downloads/db-derby-10.12.1.1-bin/db-derby-10.12.1.1-bin/demo/databases/toursdb;create=true"); 
      JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource); 
      jdbcTemplate.setFetchSize(200); 
      jdbcTemplate.query("select * from " + tableName, new RowCallbackHandler() { 
       public void processRow(ResultSet rs) throws SQLException { 
        Map<String, Object> rowInMap = new HashMap<String, Object>(); 
        for (int i = 1; i <= rs.getMetaData().getColumnCount(); i++) { 
         rowInMap.put(rs.getMetaData().getColumnName(i), rs.getObject(i)); 
        } 
        System.out.println(rowInMap); 
       } 
      }); 
      dataSource.getConnection().close(); 

Но проблема заключается в том, как использовать rowcallbackhandler метод из другого метода из другого класса, который будет потреблять данные lazyly и, очевидно, она должна быть поточно. Он будет использоваться для теста JUnit.

Answer 1

Вы сообщаете драйверу jdbc для извлечения строк на 200 и 200. Вот объяснение класса Statement java doc.

/** 
    * Gives the JDBC driver a hint as to the number of rows that should 
    * be fetched from the database when more rows are needed for 
    * <code>ResultSet</code> objects genrated by this <code>Statement</code>. 
    * If the value specified is zero, then the hint is ignored. 
    * The default value is zero. 
    * 
    * @param rows the number of rows to fetch 
    * @exception SQLException if a database access error occurs, 
    * this method is called on a closed <code>Statement</code> or the 
    *  condition <code>rows >= 0</code> is not satisfied. 
    * @since 1.2 
    * @see #getFetchSize 
    */ 

Вы не говорите ленивую загрузку или фильтрацию по вашему запросу, вы получаете всю таблицу. Самый простой способ - использовать условия для фильтрации ваших записей или использования функции разбиения на страницы. Для оракула вы можете добавить «где rownum < 200» на ваш запрос. Spring jdbc основан на извлечении записей, сборе внутри коллекции и возврате. Поэтому, когда вы получаете свой список, это означает, что все данные извлекаются из базы данных, а оператор закрыт. Вы можете обрабатывать свою запись внутри класса RowCallbackHandler, однако во время процесса будет открыто заявление базы данных и набор результатов.