Borrar por rangos o filtros en un DataTable

Hola grupo.

Tengo una DataTable llamada clientes mi intención es
borrar todos los registros que contengan el nombre 'Juan',
pero cuando ejecuto el método Delete(). Sólo borra el
primer registro con el nombre de 'Juan' y para los demás
registros coincidientes manda un error de exepción.

A caso no se puede borrar por rangos o que estoy haciendo
mal.?

Esto es parte de mi código para borrar:

Tengo una tabla con los siguientes registros:

1 Juan
2 Pedro
3 Juan
4 Luis
5 Jose
6 Juan

Hago una vista para obtener el filtro de 'Juan'

dv = New DataView
dv.Table = ds.Tables("clientes")
dv.RowFilter = "nombre='Juan'"
Me.DataGrid1.DataSource = dv

Dim i As Integer
For i = 0 To dv.Count
ds.Tables("clientes").Rows.Item(i).Delete()
Next

Cuando hace el primer For borra el registro, pero al
siguiente registro manda el error y deja de borrar. ¿Qué
está pasanfo porqué no termina el ciclo?

Esto sólo es para una tabla local, por lo que no requiero
hacer conexión a base de datos para actualizar.

Lo único que necesito es borrar todos los registros con el
nombre 'Juan' en una DataTable.

Gracias por su ayuda.