problemas DNS o IP

Buenas Tardes, paso a detallar mi caso a ver si alguno me puede dar una
ayuda.

Escenario: Servidor W2003 Server SP1 con IIS (en un ambiente Active
Directory).

Tengo 4 sitios web en este servidor, 2 de ellos con el usuario anónimo
habilitado.
Los otros 2 tienen autenticacion integrada y con permisos NTFS para un grupo
de usuarios.
Me estan planteando que si ingresan mediante http://192.168.5.100/MiSitio,
les da acceso denegado (esto esta bien ya que esos usuarios no tienen los
permisos NTFS para que puedan acceder a la página).
Ahora si acceden mediante http://ServidorWev/Misitio, pueden acceder a la
pagina sin problemas y no deberían.

No encuentro donde puede estar el error, alguno puede ayudarme?

Muchas Gracias

Christian.