Mime4j: DefaultMessageBuilder не удается разобрать содержимое mbox

Question

Я скачал mime4j 0.8.0 снимок с subversion и построил его с помощью maven. Соответствующие ящики, которые я сгенерировал, можно найти here.

Теперь я пытаюсь разобрать a toy mbox file от mime4j тест.

Я использую это sample code. Кратко:

final File mbox = new File("c:\\mbox.rlug"); 
int count = 0; 
for (CharBufferWrapper message : MboxIterator.fromFile(mbox).charset(ENCODER.charset()).build()) { 
    System.out.println(messageSummary(message.asInputStream(ENCODER.charset()))); 
    count++; 
} 
System.out.println("Found " + count + " messages"); 

+

private static String messageSummary(InputStream messageBytes) throws IOException, MimeException { 
    MessageBuilder builder = new DefaultMessageBuilder(); 
    Message message = builder.parseMessage(messageBytes); 
    return String.format("\nMessage %s \n" + 
      "Sent by:\t%s\n" + 
      "To:\t%s\n", 
      message.getSubject(), 
      message.getSender(), 
      message.getTo()); 
} 

Выход:

Сообщение нуль Прислал: нуль To: Null Null

сообщение, отправленное: нуль To: нуль

Сообщение null Отправлено: null Кому: null

Сообщение нуль Прислал: нуль To: Null Null

сообщение, отправленное: нуль To: нуль

Найдено 5 сообщений

Есть действительно 5 сообщений, но почему все поля ноль?

Answer 1

Я нашел проблему.

DefaultMessageBuilder не удается разобрать файлы mbox, у которых есть разделитель строк окна \r\n. При замене их разделителем строк UNIX \n работает синтаксический анализ.

Это критическая проблема, так как файлы mbox, загруженные с Gmail, используют \r\n.

Answer 2

Я загрузил ваши файлы jar, пример кода, на который вы указали, и образец файла mbox, на который вы указали, скомпилировал образец (без изменений) и провел его против образца файла mbox.

Он работал как ожидалось (поля содержат ожидаемые данные, а не нули). Это на Mac с Java 1.6_0_65, а также с 1.8.0_11

Выход был следующим:

$ ява -cp:. Апач-mime4j-ядро-0.8.0-SNAPSHOT. баночка: апач-mime4j-дом-0.8.0-SNAPSHOT.jar: апач-mime4j-Mbox-итератор-0.8.0-SNAPSHOT.jar IterateOverMbox mbox.rlug.txt

сообщение Din окна ма горшок, гам LINUX NU ma pot conecta (la ZAPP) Отправлено: rlug-bounce@lug.ro Кому: [rlug@lug.ro]

Сообщение Re: RH 8.0 boot floppy Прислал: rlug-bounce@lug.ro To: [rlug@lug.ro]

Сообщение Qmail тузд virtualusers + SSL + аутентификации SMTP + pop3 Переданные по: rlug-bounce@lug.ro To: [rlug @ lug.ro]

сообщения Re: Din окна м горшок, гам LINUX NU ма горшок CONECTA (ла ZAPP) Прислал: rlug-bounce@lug.ro To: [rlug@lug.ro]

Сообщение Проблема LSTP - решена Отправлено: rlug-bounce@lug.ro To: [rlug @ lug.ро]

Найдено 5 сообщений Совершено в: 108 Milis

Answer 3

основе @zvisofer ответа, я нашел guilty piece of code в BufferedLineReaderInputStream:

@Override 
public int readLine(final ByteArrayBuffer dst) 
     throws MaxLineLimitException, IOException { 
    if (dst == null) { 
     throw new IllegalArgumentException("Buffer may not be null"); 
    } 
    if (!readAllowed()) return -1; 

    int total = 0; 
    boolean found = false; 
    int bytesRead = 0; 
    while (!found) { 
     if (!hasBufferedData()) { 
      bytesRead = fillBuffer(); 
      if (bytesRead == -1) { 
       break; 
      } 
     } 
     int i = indexOf((byte)'\n'); 
     int chunk; 
     if (i != -1) { 
      found = true; 
      chunk = i + 1 - pos(); 
     } else { 
      chunk = length(); 
     } 
     if (chunk > 0) { 
      dst.append(buf(), pos(), chunk); 
      skip(chunk); 
      total += chunk; 
     } 
     if (this.maxLineLen > 0 && dst.length() >= this.maxLineLen) { 
      throw new MaxLineLimitException("Maximum line length limit exceeded"); 
     } 
    } 
    if (total == 0 && bytesRead == -1) { 
     return -1; 
    } else { 
     return total; 
    } 
} 

Лучше всего сделать было бы сообщить об ошибке, но здесь это исправить, немного грязный, но это работает прекрасно

Создание класса org.apache.james.mime4j.io.BufferedLineReaderInputStream в проекте

Заменить метод public int readLine(final ByteArrayBuffer dst) по этому:

@Override 
public int readLine(final ByteArrayBuffer dst) 
     throws MaxLineLimitException, IOException { 
    if (dst == null) { 
     throw new IllegalArgumentException("Buffer may not be null"); 
    } 
    if (!readAllowed()) return -1; 

    int total = 0; 
    boolean found = false; 
    int bytesRead = 0; 
    while (!found) { 
     if (!hasBufferedData()) { 
      bytesRead = fillBuffer(); 
      if (bytesRead == -1) { 
       break; 
      } 
     } 

     int chunk; 
     int i = indexOf((byte)'\r'); 
     if (i != -1) { 
      found = true; 
      chunk = i + 2 - pos(); 
     } else { 
      i = indexOf((byte)'\n'); 
      if (i != -1) { 
       found = true; 
       chunk = i + 1 - pos(); 
      } else { 
       chunk = length(); 
      } 
     } 
     if (chunk > 0) { 
      dst.append(buf(), pos(), chunk); 
      skip(chunk); 
      total += chunk; 
     } 
     if (this.maxLineLen > 0 && dst.length() >= this.maxLineLen) { 
      throw new MaxLineLimitException("Maximum line length limit exceeded"); 
     } 
    } 
    if (total == 0 && bytesRead == -1) { 
     return -1; 
    } else { 
     return total; 
    } 
} 

Наслаждайтесь файлами unix и dos :)