Configurar el XP para compartir ADSL con router?

Hola a todos.

En casa tenemos tres ordenadores y un ADSL. Como no queremos tenerlos
en red, hasta ahora debíamos enchufar y desenchufar del ADSL según que
PC quisiéramos usar con conexión. Pues bien, hoy nos han regalado un
router según el cual, en su caja, dice que puede usarse para compartir
el ADSL en varios ordenadores aunque estos no estén en red. Que solo
alcanzaría con hacer las conexiones en el router y luego configurar
adecuadamente cada tarjeta de red de los PC, pero... no sé como debo
configurarlos...

Dos de los ordenadores tienen el XP. ¿Alguien podría decirme como debo
configurarlos para que tengan conexión simultánea a través del router?

Aclaro que antes de preguntar he buscado algún manual (el aparato no
trae nada específico) y en la página del fabricante tampoco he
encontrado nada al respecto.

Muchas gracias por vuestra ayuda y un saludo