Две записи А не помогут, они хороши только для размазывания нагрузки по хостам. Нужна еще какая-то система мониторинга, которая бы меняла А запись на основании работоспособности сайта.
Обычно как делают.
Есть 2 ноды кластера по схеме мастер/слейв, есть шаренный ресурс. Мастер переодически обновляет некий маркер, слейв следит за этим. Как только маркер не обновлялся какое-то время, слейв забирает на себя функции мастера и гасит вторую ноду (гасит против проблемы разделения мозгов).
В вашем случае маркером может быть какой-то ресурс на 3-ей стороне.. например, тот же DNS, в TXT запись можно класть таймстамп. Соответственно мастер ставит свой IP адрес в А запись. Слейв следит за таймстампом.
Проблемы этого способа: опять же разделение мозгов, но если у вас там нет репликации между базами, то не так страшно, ну и инерционность DNS - маленькие TTL могут игнорироваться, кешироваться где-то в прикладных программах пользователей (типа браузер) и т.п., в общем это не даст быстрое переключение и 100%-й результат. Но из бюджетных решений "на коленке для хостинга" подходит.