se puede hacer un REPLACE de todos los caracteres que no sean letras o numeros?

Hola,

tengo una tabla con el campo TELEFONO de tipo varchar (que no puedo
cambiar), estos telefonos tienen muchos carácteres del tipo '.', '-', '*',
etc. He probado a eliminarlos con replaces pero me parece un poco
chapucero, ya que la anidación de replaces es muy grande, y siempre pueden
quedar carácteres raros.

Existe alguna manera de hacer un select de un campo, y que del mismo
elimine directamente dodos los carácteres que no sean números?

Vamos, que me evite esto:

SELECT
replace(replace(replace(replace(replace(replace(replace(replace(replace(telefono,'
',''),'-',''),'.',''),'(',''),')',''),'/',''),'\',''),'*',''),':','')
FROM contactos


Gracias y un saludo,

Xus