Не нужно сабмитить форму в модалдиалог.
arr = showModalDialog('my_form.htm');
В самом мод. диалоге по нажатию сабмита - вызывается какая-нить функция, в которой:
{
...
window.returnValue = new array(input_1.value, input_2.value,..);
window.close();
}
Тогда на страницу, кот. открывает мод. диалог, вернется переменная - массив с теми значениями, кот. юзер заполнил в диалоге, а уже эти значения можно распихать в хидденполя в форме на родительской странице, и засабмитить эту форму