terminal server y puertos COM asignados

Hola, tenemos el siguiente problema:
Tenemos un servidor que corre Win2003 server con 5 licencias de terminal
server (x usuario) y alli corre una aplicacion de gestion de la empresa, una
de sus funciones es la facturacion en impresora fiscal, que como sabran en
Argentina se conecta al puerto COM.
La terminal que emite las facturas está físicamente lejos del servidor, por
lo que la impresora fiscal se conecta al puerto COM de esa pc, e ingresa al
servidor a traves del cliente de escritorio remoto, en el cual se haya
seleccionado la opcion de "conectar dispositivos locales" el correspondiente
puerto serie.
La velocidad de la aplicacion es muy buena, todo de 10 con excepción de la
impresion, ya que demora 2 o 3 minutos en pasar los datos a la impresora.
Esto no ocurre si se la conecta directamente al server, en donde se emite en
pocos segundos de procesada. El problema se dá en cualquiera de las
terminales en las que se conecte la impresora, y es sólo con el puerto COM,
ya que se probaron impresora comunes (LPT) y no hay ninguna demora, por lo
que excluyo problemas velocidad de red.
Si alguien ha tenido experiencia en esto agradezco desde ya cualquier
sugerencia, no encuentro nada configurable para "tocar"

Gabriel