Problemas con la Conexión de área local

Hola amigos:
Tengo un modem ADSL al cual conecte un router para poder compartir la
conexión a Internet con 2 Pc's. Todo funcionó OK. Debido a que se malogró
el transformador del router, tuve que configurar una conexión en cada Pc,
usando el minipuerto WAN con que viene el Xp y puedo conectarme sin ningún
problema.
Sin embargo he notado lo siguiente. El icono de la conexión de área local
aparece con un triángulo amarillo y un simbolo de admiración (!) y cuando
pongo el mouse encima aparece esta información:

Conexión de área local
Velocidad: 100 Mbps
Estado: Cnectividad limitada o nula

Desde que esta así, la carga inicial de Xp es algo lenta. Me dijeron que
la solución esta en asignarle un IP manualmente, pero no se como hacerlo,
lo mio es diseño gráfico no sistemas.. ¿me dan una mano?

Muchas gracias

Sandra y María Claudia