Como puede un visitante de mi web bajarse un fichero que yo haya subido al servidor y viceversa?
Que el visitante se descarga en un fichero de tu servidor es fácil. Imagínate que el achivo lo guardaste en una carpeta llamada files y se llama hola.rar
Tendrías que poner: Descargar archivo
Lo otro es algo más complicado si eres principiante porque tendrías que programar un script en php u otro lenguaje. Se me ocurre que busques en google:
Sistema upload de archivos
Seguro que encuentras alguno.
Saludos