Como quito una referencia en tiempo de ejecución?

La duda va por aquí: Referencie una Dll en tiempo de diseño ( con un código
que Eduardo A. Morcillo me hizo el favor de pasarme) y ya pude accesar al
contenido de la Dll, pero ahora quiero en tiempo de ejecución quitar dicha
referencia, como la puedo quitar? el codigo con la que la referencio es

Dim objObjeto As Object
'Cargo el ensamblado
asmObjeto = Assembly.LoadFrom("C:\Archivo.dll")
'Creo una instancia de la clase
objObjeto = asmObjeto.CreateInstance("Archivo.Archivo")

ahora como la quito al terminar de usarla? :S

P.D. Muchas gracias Eduardo tu consejo me sirvio muchisimo en la pregunta
anterior :) Gracias.