Como hacer

mi consulta es como hacer un programa que al guardar un
archivo con su extencion en particular (ejem .rex) este
quede con un icono respectivo y ademas al hacerle clic se
habra el programa creado.

El icono y el programa utilizado para abrir un archivo quedan guardados en
los tipos de archivos que pueden verse en
Inicio/Configuracion/Opciones de carpeta/Tipos de Archivo
Quizas haya alguna API para crear un nuevo tipo.

2cosa: como hacer programas con una forma en particular
por ejemplo con botones redondos otros en forma de
piramide, etc y que la ventana sea con una forma de cara o
cualquier otra cosa (ejem: el windows media , las mascaras)

Supongo que para hacer botones redondos tendrias que crear un control de
usuario que use como constituyente un comandButton. A menos que a alguien ya
se le haya ocurrido eso antes y ya lo haya programado y publicado