Нашли это справочное руководство по UFT, и это сработало для меня.
Запуск приложений Java в среде выполнения Java Java Runtime Environment (JRE) 1.6 В некоторых случаях после установки надстройки Java приложения Java, запущенные на JVM IBM Java 6, не могут быть запущены. Отображаемое сообщение об ошибке может означать, что поддержка Mercury Interactive не может быть загружена, а виртуальная машина Java не может быть создана.
Обход:
Удалить -Xrunjvmhook из _JAVA_OPTIONS и переменных окружения IBM_JAVA_OPTIONS.
Добавить -agentlib: jvmhook в начале переменных среды _JAVA_OPTIONS и IBM_JAVA_OPTIONS.
Удалить переменную среды JAVA_TOOL_OPTIONS.
Чтобы обновить переменные, вам необходимо перезагрузить систему.
это может помочь http://stackoverflow.com/questions/7302604/eclipse-error-failed-to-create-the-java-virtual-machine – kuhajeyan