Regex vs String.Replace y String,Substring

Buenas tardes amigos tengo una duda que parece interesante acerca de
utilizar expresiones regulares para validar textos o utilizar
String.replace.. en muchas paginas dicen que no es eficiente utilizar
regex y en otras dice que si lo es.
Quisera saber su opinion al respecto y que aconsejarian utilizar, en
mi caso particular son textos grandes en los que tengo que realizar
busquedas y/o reemplazar patrones. Por el momento utilizao una uncia
expresion regular para hacerlo, pero seria mas eficiente utilizar
string.replace, o string.Substring?tantas veces sea necesario? ( Ej.
eliminar comas, puntos etc, recuperar fragmentos de la cadena)
quisisera saber su opinion en base a su experiencia. gracias por su
tiempo..