Что вам нужно сделать, это создать RichTextString для вашей камеры. Это способ применения различных форматирования/стилей для разных частей одной и той же ячейки для отображения в Excel
Вы хотите просмотреть POI "Working With Rich Text" example для более о том, как использовать его, но в целом это будет что-то вроде
Cell cell = row.createCell(1);
RichTextString rt = new XSSFRichTextString("The quick brown fox");
Font font1 = wb.createFont();
font1.setBoldWeight(Font.BOLDWEIGHT_BOLD);
rt.applyFont(0, 10, font1);
Font font2 = wb.createFont();
font2.setItalic(true);
font2.setUnderline(XSSFFont.U_DOUBLE);
rt.applyFont(10, 19, font2);
Font font3 = wb.createFont();
font3.setBoldWeight(Font.BOLDWEIGHT_NORMAL);
rt.append(" Jumped over the lazy dog", font3);
cell.setCellValue(rt);
это должно дать вам ячейку со смесью полужирный, курсив + подчеркивание и нормальный
Вы можете добавить больше информации и кода таким образом, чтобы ее легче решить твоя проблема. Я предложил другую библиотеку, ниже которой я нашел очень простой в использовании. – vatsal