Из хэлпа
The single quote (') and backslash (\) characters have special alternative escape sequences.
Далее говориться что-то про октеты (бож это биты байта) не сильна в английском
и приводится функция
unsigned char *PQescapeBytea(const unsigned char *from,
size_t from_length,
size_t *to_length);