Как обрабатывать большой файл csv или читать большой CSV-файл в кусках

Question

У меня очень большие файлы csv, которые я пытаюсь выполнить итерацией. Я использую opencsv, и я бы хотел использовать CsvToBean, чтобы я мог динамически устанавливать сопоставления столбцов из базы данных. У меня есть вопрос, как это сделать, не захватывая весь файл и не бросая его в список. Я пытаюсь предотвратить ошибки памяти.

В настоящее время я передаю весь набор результатов в список.

List<MyOption> myObjects = csv.parse(strat, getReader("file.txt")); 

for (MyObject myObject : myObjects) { 
    System.out.println(myObject); 
} 

Но я нашел этот метод итератора, и мне интересно, если это будет просто перебирать каждую строку, а не весь файл сразу?

Iterator myObjects = csv.parse(strat, getReader("file.txt")).iterator(); 

while (myObjects.hasNext()) { 
    MyObject myObject = (MyObject) myObjects.next(); 
    System.out.println(myObject); 
} 

Так что мой вопрос в чем разница между Итератором и списком?

Answer 1

Усовершенствованный цикл (for (MyObject myObject : myObjects)) осуществляется с помощью Iterator (это требует, чтобы экземпляр, возвращаемый csv.parse(strat, getReader("file.txt")) реализует интерфейс Iterable, который содержит iterator() метод, который возвращает Iterator), так что нет никакой разницы в производительности между двумя кодом сниппеты.

P.S

Во втором фрагменте, не используйте сырые Iterator типа, используйте Iterator<MyObject>:

Iterator<MyObject> myObjects = csv.parse(strat, getReader("file.txt")).iterator(); 

while (myObjects.hasNext()) { 
    MyObject myObject = myObjects.next(); 
    System.out.println(myObject); 
} 

Answer 2

Чтение большого файла CSV сразу не является хорошим решением. Лучший способ прочитать файл csv в кусках. Вы можете иметь несколько потоков для чтения данных из файла и нескольких других потоков для выполнения бизнес-логики. Более подробная информация для чтения CSV-данных в кусках приведена здесь How to parse chunk by chunk a large CSV file and bulk insert to a database и имеет несколько решений threds here

Answer 3

«В чем разница между Итератором и списком?»

Перечень представляет собой структуру данных, которая дает функциональные возможности пользователя, как получить(), ToArray() и т.д.

Итератор только может позволить пользователю перемещаться через структуру данных, при условии, что структура данных реализует интерфейс итератора (что делают все структуры данных)

так List<MyOption> myObjects = csv.parse(strat, getReader("file.txt")); физически хранит данные в myObjects

и Iterator myObjects = csv.parse(strat, getReader("file.txt")).iterator(); просто использует функциональные возможности итератора из csv.parse