Ventana de imagenes

Hola, necesito poner en mi pagina una galeria de imagenes y quiero que aparezaca la imagen grande mas o menos 800px * 600px y que arriba de ella paarezcan dos flechas de izquierda y derecha para navegar por las imagenes.
La pregunta en concreto es, si debo hacer una pagina html para cada imagen o de hay alguna otra forma para que el navegador no tenga que cargar toda la pagina otra vez y hacer la navegacion mas rapida.

Gracias
Gracias, aunque me interesa saber como se hace para integrarlo a mi pagina, lo que quiero e esto:

http://axecapoeirarionegro.myartsonline.com/imagenes.html

Ahora, mi pregunta es si algun codigo para que solo cambie la imagen o debo hacer paginas html por cada imagen?

Gracias y saludos