А если в консоле просто запускаешь
x:\home\server\www\index.exe,
утилита что-нибудь вываливает на экран? Точнее в стандартный выходной поток, который по умолчанию при запуске из консоли является экран.
Если она что-нибудь пишет, то можно пользоваца такой неуклюжей конструкцией
system('cmd.exe /C "c:\tools\win\rar.exe > c:\tempfile.txt"');
system('cmd.exe /C "type c:\tempfile.txt"');
Это я у себя проверил, получил в браузер помощь по rar.exe
А если просто написать
system('cmd.exe /C "c:\tools\win\rar.exe"');
то да, действительно, вывод команды не увидишь.