Производительность ввода-вывода файлов Java уменьшается со временем

Question

Я пытаюсь выполнить однократное чтение большого файла (~ 4 ГБ) с использованием Java 5.0 x64 (в Windows XP).

Первоначально скорость чтения файла очень быстрая, но постепенно пропускная способность замедляется существенно, и моя машина кажется очень не реагирующей с течением времени.

Я использовал ProcessExplorer для мониторинга статистики ввода-вывода файлов, и похоже, что процесс изначально считывает 500 МБ/с, но эта скорость постепенно снижается до 20 МБ/с.

Любые идеи по наилучшему способу поддержания скорости ввода-вывода файлов, особенно при чтении больших файлов с использованием Java?

Вот несколько тестовых кодов, которые показывают, что «интервал времени» продолжает увеличиваться. Просто передайте Main файл размером не менее 500 МБ.

import java.io.File; 
import java.io.RandomAccessFile; 

public class MultiFileReader { 

public static void main(String[] args) throws Exception { 
    MultiFileReader mfr = new MultiFileReader(); 
    mfr.go(new File(args[0])); 
} 

public void go(final File file) throws Exception { 
    RandomAccessFile raf = new RandomAccessFile(file, "r"); 
    long fileLength = raf.length(); 
    System.out.println("fileLen: " + fileLength); 
    raf.close(); 

    long startTime = System.currentTimeMillis(); 
    doChunk(0, file, 0, fileLength); 
    System.out.println((System.currentTimeMillis() - startTime) + " ms"); 
} 

public void doChunk(int threadNum, File file, long start, long end) throws Exception { 
    System.out.println("Starting partition " + start + " to " + end); 
    RandomAccessFile raf = new RandomAccessFile(file, "r"); 
    raf.seek(start); 

    long cur = start; 
    byte buf[] = new byte[1000]; 
    int lastPercentPrinted = 0; 
    long intervalStartTime = System.currentTimeMillis(); 
    while (true) { 
     int numRead = raf.read(buf); 
     if (numRead == -1) { 
      break; 
     } 
     cur += numRead; 
     if (cur >= end) { 
      break; 
     } 

     int percentDone = (int)(100.0 * (cur - start)/(end - start)); 
     if (percentDone % 5 == 0) { 
      if (lastPercentPrinted != percentDone) { 
       lastPercentPrinted = percentDone; 
       System.out.println("Thread" + threadNum + " Percent done: " + percentDone + " Interval time: " + (System.currentTimeMillis() - intervalStartTime)); 
       intervalStartTime = System.currentTimeMillis(); 
      } 
     } 
    } 
    raf.close(); 
} 
} 

Спасибо!

Answer 1

Я очень сомневаюсь, что вы действительно, получая 500 МБ в секунду с вашего диска. Скорее всего, данные кэшируются операционной системой - и что 20 МБ в секунду - это то, что происходит, когда действительно попадает на диск.

Это вполне возможно, будет видно в разделе диска в Vista Manager ресурсов - и низкотехнологичный способ сказать, чтобы слушать дисковод :)

Answer 2

Вы можете использовать JConsole контролировать ваше приложение, включая использование памяти. 500 МБ/сек звучит хорошо, чтобы быть правдой.

Дополнительная информация об используемых реализациях и аргументах VM была бы полезной.

Answer 3

В зависимости от вашего конкретного оборудования и того, что еще происходит, вам, возможно, придется работать достаточно сложно, чтобы сделать гораздо больше, чем 20 МБ/с.

Я думаю, что, возможно, вы не очень-то, как полностью вне-масштабе 500МБ/сек ...

Что вы надеетесь, и вы проверили, что ваш конкретный привод даже теоретически способен Это?

Answer 4

Проверить статической силы read3() бросает IOException {

 // read from the file with buffering 
     // and with direct access to the buffer 

     MyTimer mt = new MyTimer(); 
     FileInputStream fis = 
        new FileInputStream(TESTFILE); 
     cnt3 = 0; 
     final int BUFSIZE = 1024; 
     byte buf[] = new byte[BUFSIZE]; 
     int len; 
     while ((len = fis.read(buf)) != -1) { 
      for (int i = 0; i < len; i++) { 
       if (buf[i] == 'A') { 
        cnt3++; 
       } 
      } 
     } 
     fis.close(); 
     System.out.println("read3 time = " 
           + mt.getElapsed()); 
    } 

из http://java.sun.com/developer/JDCTechTips/2002/tt0305.html

Лучший размер буфера может зависеть от операционной системы. Возможно, вам мало.

Answer 5

Сборщик мусора Java может быть узким местом здесь.

Я бы сделал буфер более крупным и закрытым для класса, чтобы он был повторно использован, а не выделялся каждым вызовом doChunk().

public class MultiFileReader { 

    private byte buf[] = new byte[256*1024]; 

    ... 

}