La solución más simple es poner un enlace apuntando a la página anterior:
echo "<a href='pagina_anterior.html'>Volver</a>";
donde pagina_anterior.html es el página que envía el formulario. La otra solución, más "elegante", es que luego de ejecutar el script, devuelvas al usuario a la página anterior:
header( 'Location: pagina_anterior.html' );
Si usas esta última técnica, entonces ten en cuenta 2 cosas:
1.- header() no puede ser utilizada después de un echo, por ende todos los mensajes que quieras mostrar, antes de utilizar header, harán que aparezca un error y el script se detenga.
2.- A causa de lo anterior, no podrás ver ningún mensaje de error que devuelva la base de datos.
Saludos :D.