Problemas con Terminal Server y varias tarjetas de red

Hola,
Tengo instalado un servidor con Windows 2003 Server con terminal Server y
3
tarjetas de Red conectadas a 3 ADSL. De vez en cuando el servidor deja de
responder a las peticiones de Terminal Server, el mensaje que me da es:
"El
servidor no responde debe estar muy ocupado o existe un problema en la
red".
He comprobado la red y funciona correctamente en las tres ADSL, si
reinicio
el Servidor vuelven a funcionar las 3 perfectamente. No se me ocurre el
motivo por el cual pasa esto y agradeceria cualquier indicación para
solucionar este problema.

PD. he comprobado también en el administrador de tareas que el Servidor no
este sobrecargado y los valores que me dan son normales.

Saludos.