Die Spitze des Weichberges war schon, bevor der Berg im 12. Jahrhundert seinen Namen erhielt, eine Kultstätte.
Der Name leitet sich wohl vom keltischen „wic perc“ ab, was „geweihter Berg“ bedeutet.
Aber erst im 17. Jahrhundert wird die Bergkapelle, die damals schon der heiligen Magdalena geweiht war, erwähnt. Sie soll einst die Pfarrkirche Rettenbachs gewesen sein. 
Durch die Mitte des Dachreiters ging damals die Hoheitsgrenze zwischen Bayern und dem Hochstift Augsburg. Alljährlich fanden Prozessionen der umliegenden sechs Pfarreien zur Kreuzwoche oder des Patroziniumsfest statt. 

Der Erbauer des Rettenbacher Kirchenturmes, Herr Pfarrer Hönle, lies die baufällige Kapelle 1753 abreissen. Gegen den geplanten größeren Neubau einige Schritte weiter westlich (auf hochstiftischen Boden) erhob Bayern Einspruch und lies den Bau einstellen. Mit dem Ziel, das bayrische Hoheitsgebiet auszuweiten, bestand Bayern darauf, dass der bereits bis zum Dach geführte Neubau niedergelegt wurde. 

Die Kapelle sollte auf den alten Grundmauern errichtet werden oder die Grenzmarke solle durch die neue Kapelle gezogen werden. 
Da sich beide Parteien nicht einigen konnten, blieb der Neubau unvollendet. 
Im Jahre 1786 wurde dieser wieder abgebrochen, das Material für die Reparatur der Pfarrkirche in Rettenbach verwendet. 

Es ist mündliche überliefert, dass zu Zeiten des dreißigjährigen Kriegs die Kirche und der Weichberg von den Schweden verschont wurden. Dichter Nebel verhinderte, dass die Truppen den Weichberg entdeckten. 

Der Sage nach sollen damals unterirdische Gänge vom Schlossbühl bei Unterlöchlers zum Weichberg und vom Weichberg zum Schlossbühl bei Tannenberg geführt haben. 

Von 2003 bis 2005 wurde die Kapelle wieder aufgebaut und am 24. Juli 2005 feierlich mit rund 2.000 Besuchern geweiht.