делаешь свою программу-броузер, которая будет работать исключительно с твоим сайтом.
Заставляешь юзера работать с сайтом только через эту программу.
Весь трафиик между сайтом и броузером шифруешь.
В программе отслеживаешь все подозрительные движения мышью и нажатия клавиш типа PrintScreen