Eliminacion de Archivos...

Tengo un problema con la eliminacion de archivos en un directorio
especifico.

Lo hago de la siguiente manera:

private static void EliminaProcesados() {
int i;
string[] strArrFiles;
string[] strArrDirectory;

strArrFiles=Directory.GetFiles(PathDirectorioProcesados);

strArrDirectory=Directory.GetDirectories(PathDirectorioProcesados);

if(strArrFiles.Length !=0 ||strArrDirectory.Length !=0) {
try {
if(strArrFiles.Length !=0) {
for(i = 0; i <= strArrFiles.GetUpperBound(0); i++)
{ FileInfo InfoFile = new FileInfo(strArrFiles[i]);
DirectoryInfo InfoDir = new DirectoryInfo(PathDirectorioProcesados);
if (InfoDir.Name=="Procesados") {
if (InfoFile.Extension.ToLower()==".txt") {
if (File.Exists(PathDirectorio+"\\"+InfoFile.Name))
File.Delete(PathDirectorio+"\\"+InfoFile.Name);
}
}
}
}
}
catch(Exception e) {
throw new Exception("Error con el archivo "+e.Message);}
}
}

El problema que siempre me arroja es este error: "The process cannot
access the file [Ruta de mi Archivo] because it is being used by another
process"

Una de las cosas que me di cuenta es que ocurre solo con el ultimo
archivo del directorio ya que los primeros los mueve sin problemas.

Esta malo mi proceso de eliminacion o me falta algo por hacer?

Gracias.

PD:
PathDirectorioProcesados es la ruta de un directorio en done se
encuentran los archivos que ya procese
PathDirectorio es la ruta en donde se encuentran los avisos procesados y
sin procesar.