modem router adsl

Buenas tardes, estoy tratando de conectar una red de 4 maquinas con ip
fija a un modem router adsl kozumi, para darles salida a internet, estoy
colocando la puerta de enlace la ip de acceso al router asi como tambien
la misma ip en la dns, mi consulta es si puedo poner el mismo nombre de
host en todas las maquinas, aclaro que no poseen dominio, sino grupo de
trabajo, porque en una de ellas sali navegando y en otra no, me falta
agregar algo en la configuracion de red o bien del router?, muchas gracias
y disculpen si no es por aqui donde debo consultar.
Marcelo