falls ich dich richtig verstanden habe, ist es nicht so schwer....
1. Möglichkeit: mit css:
HTML-Code:
<style type="text/css">
a div { display:none; }
a:hover div { display:block; }
</style>
....
<a href="#"><img src="bild1.jpg" style="width:......">
    <div><img src="bild1.jpg"></div>    </a>
usw. für alle weiteren Bilder. Dann musst du nur noch das div ausrichten, in a:hover div...
Die Möglichkeit ist für das Internet aber eher ungeeignet, da dabei schon grosse Datenmengen geladen werden müssen (siehe Post von Jana).
2. Möglichkeit: Javascript:
HTML-Code:
<img src="startbild.jpg" id="gross">
<img src="bild1_thumb.jpg"
  onMouseOver="javascript:document.getElementById('gross').src = 'bild1.jpg';">
Mehr dazu: http://de.selfhtml.org