塔格梅尔 斯海姆是一个古典的侏罗纪式村庄，早在11世纪就列入贵族之席，而今天的城堡的设施历史却要追溯到14世纪，也就是1321年Edlen von Otting建造水上城堡的时候。1523年7月12日被当时的施瓦本联盟烧毁后就没有再重建。老城堡地壕是过去几年里象征性铺设的。

Wolf Lorenz Wallrab von Hautzendorf 在1578年重新建造了今天的这座文艺复兴式城堡。今天的主城堡框架其实是Lorenz von Wallrab在1610年所建和文艺复兴式城堡密切相连。Wallrab之后此城堡的主人分别是Franz von Beverelli, Hortensio Brocco 和Pestalozzi行政官。

1821年奥格斯堡的银行家Daniel Wohnlich收购此庄园。他推翻1610年所建的城堡留下老地窖的拱顶,在此基础上重建。

1842年Alois Graf Arco-Stepperg 收购此庄园，1919年按继承权顺序转于到伯爵贵族Moy des Sons。

Guy Moy伯爵夫妇在上世纪80年代对城堡进行大量翻修，以至于巴伐利亚州授予其优秀纪念奖章。2005年Von Morgenstern 购买，让全部有标志性受保护的次城堡得以复修。