В целом можно прикрепить собственные отладчики для ява процессов. Я никогда не делал этого на службе. То, что вам нужно подключить, зависит от вашей обертки сервиса. Можно развернуть собственный Java-процесс или загрузить java.dll в другой exe-процесс. Таким образом, процесс, который фактически запускает java, - это процесс, к которому нужно подключиться.
Когда это зависит от того, что вы хотите отлаживать. Конечно, его гораздо проще подключить к уже запущенному процессу. Если вам нужно отлаживать во время запуска, отладчик должен запустить java. Это означает, что вы остановите службу, выясните правильную команду, чтобы запустить java, и вот мы идем. После запуска java-процесса вы можете найти в командной строке такие инструменты, как processexplorer.