В файлах исходных текстов следует перед mysql.h включить windows.h:

#if defined(_WIN32) || defined(_WIN64)
#include <windows.h>
#endif
#include <mysql.h>

Линковать свою программу можно либо с использованием динамической библиотеки libmysql.lib, которая является просто оболочкой для загрузки libmysql.dll по требованию, либо со статической библиотекой mysqlclient.lib.

Отметим, что поскольку библиотеки mysqlclient компилируются как потоковые библиотеки, следует скомпилировать вашу программу так, чтобы была разрешена многопочность!