Servicio Remote Desktop en Servidor

Que tanto le afecta el rendimiento a un servidor Dell SC1430 con Windows
2003 Server Estandard Edition, Service Pack 2, 2 Gb de Memoria con
procesador Intel Xeon 3 Ghz, si tiene funcionando el Remote Desktop?, esto
es para que de vez en cuando se conecten desde la red, y no tener que ir
fisicamente al servidor. Esto porque me dicen que el rendimiento del
server no es muy bueno, le ayudara un poco el que quite esa parte?, ya que
si no mejora el rendimiento en algo, mejor dejo ese servicio.

Saludos.