Рейтинг - сумма всех оценок. Чем больше голосов, тем объективнее оценка. Рейтинг хороших фото будет рости быстрее, чем рейтинг плохих. Тут учтено и количество голосов и вес оценок, как вы и хотите.
Теоретически лучше сделать оценки от -2 до +2, тогда большое количество отрицательных голосов не будет увеличивать общий рейтинг фото. Показывать вы можете по шкале от 1 до 5, но внутри системы вести расчеты по шкале -2..+2.
Сначала сортируете по рейтингу (сумме). Если рейтинг одинаковый, то лучше тот, у кого меньше голосов, читай, больше высших оценок или выше средняя оценка. Если и количество голосов одинаково, то фото, добавленное позже, будет стоять выше, поскольку за него было отдано то же количество голосов, но за более короткий период времени.
Однако, тут вступает в силу фактор человеческой жадности. Намедни реализовал такую систему в своих фотоконкурсах. Дак, что бы вы думали!? Фото с самым высоким рейтингом имеет -20 (минус двадцать) баллов. Оказалось, что подавляющее большинство голосов (85-90%) - это самые низкие оценки. То есть, люди оценивают оду-две фотки наивысшими баллами, а все остальные - наименьшими, дабы увеличить отрыв от конкурентов.
В таких ситуациях, например, можно использовать математические модели, которые вычисляют вес голоса оценщика на основе истории всех данных им голосов. То есть, если он ставит подавлющее большинство -2, то его -2 будут иметь меньший вес (умножаться на какой-то коэфициент меньше единицы) при суммировании.