Problema en Recepción de datos en un Puerto IP

Hola a todos, estoy montando un Servicio de recogida de datos en un Servidor
ligado a la dirección IP del mismo y a un puerto, y lo he ligado a un thread
y funciona, y al entrar una conexión de Cliente recibe los datos, pero si
estoy conectado a un Cliente y recibiendo datos y otro cliente intenta
conectarse al mismo puerto, bloque la recepción y ya no recibo datos de
ninguno de los dos.

El problema es lógico pues el enlace es punto a punto, pero que
estructura me recomendais hacer para que pueda procesar todas las entradas
sin que a nadie se le bloquee nada.y recibir todos los datos.

un saludo