Tagmersheim, ein klassisches Juradorf, ist bereits seit dem 11. Jahrhundert ein Adelssitz. Die Ursprünge der heutigen Schlossanlage gehen auf das 14. Jahrhundert zurück, als die Edlen von Otting 1321 eine Wasserburg erbauten. Diese wurde allerdings am 12. Jui 1523 durch den Schwäbischen Bund niedergebrannt und nicht wieder aufgebaut. Die alten Burggräben sind erst in den vergangenen Jahren in symbolischer Form wieder angelegt worden.


1578 wurde das noch heute bestehenden Renaissanceschloss von Wolf Lorenz Wallrab von Hautzendorf erbaut. Der Ursprung des heutigen Hauptschlosses wurde 1610 von Lorenz von Wallrab in unmittelbarer Nähe zum Renaissanceschloss errichtet. Nachfolger des Wallrab wurden Franz von Beverelli, Hortensio Brocco und die Grafen von Pestalozzi.

1821 erwarb der Augsburger Bankier Daniel von Wohnlich das Anwesen, ließ das Witwenschlösschen abreißen und auf den alten Kellergewölben das heutige Biedermeierschloss neu errichten.

 

1842 erwarb Alois Graf Arco-Stepperg das Anwesen, das im Jahre 1919 durch Erbfolge an die gräfliche Familie Moy des Sons überging.

Graf und Gräfin Guy Moy renovierten aufwendig das Schloss in den 80er Jahren

und wurden dafür mit der bayerischen Denkmalmedaille ausgezeichnet. 2005 erwarben Isabel und Ingo von Morgenstern das Anwesen und ließ das Renaissanceschloss sowie sämtliche denkmalgeschützten Nebengebäude grundlegend restaurieren.