Das heutige Schloss am Nordostende des Ortes, am Westhang des Neufnachtales gelegen, ist ein dreigeschossiger, fast quadratischer Bau mit Walmdach und zwei Rundtürmen an der Nordwest- und der Nordost-Ecke sowie einem Rundturm in der Mitte der Südseite. Er geht im Kern auf den Wiederaufbau im 17. Jahrhundert zurück. Im Jahre 1477 wurde das ehemalige “Schloß zum Pürgel (Bürgle) entwehrt und wehrlos gemacht“, bis dahin Amtssitz welfischer Dienstmannen und der Herren von Riedheim. In einer Fehde der Riedheims, die 1474 erstmals als hiesige Herrschaftsinhaber erwähnt werden, mit Herzog Wolfgang von Bayern um die Herrschaft Schwabeck, wird die Burg zerstört.
Konrad I. von Riedheim ließ in der Folgezeit ein neues Schloss im Ortsteil Irmatshofen auf dem Wald errichten. Unter seinem Sohn Konrad II. von Riedheim wurde im Bauernkrieg 1525 das Schloss zerstört. Im Teilungsvertrag der Riedheims von 1536, in dem sich die Söhne Konrads II., Wilhelm IV. und Hans Konrad das Erbe Angelberg und Irmatshofen teilten, heißt es, dass “der Schloßbau zu Irmatshofen noch nicht vollendet sei”. Es wird das Gebäude gewesen sein, dass man um 1835 “das alte Schloss” nannte, damals ein Wohnhaus neben dem heutigen Schloss im Besitz der Herrschaft. Im Urbar von 1588 findet sich die erste ausführliche Beschreibung der Gebäude und der übrigen Besitzungen der Herrschaftsinhaber.
Am 1. Juli 1578, kurz vor seinem Tode, verkaufte der kinderlos gebliebene letzte Riedheimer Christoph Adam Schloss und Gut Irmatshofen mit “aller Zugehörde um 115000 Gulden” an Erzherzog Ferdinand von Österreich. Im Jahre 1588 übergab der Erzherzog die belastete Herrschaft seinen Söhnen , dem Kardinal Andreas, Bischof zu Konstanz und Brixen, und Karl, Markgraf zu Burgau “zu freiem Eigen” gegen Überlassung von Schloss und Herrschaft Ambras (bei Innsbruck). Sie sind es, die ihrem Vetter Kaiser Rudolf II. zu Prag 1593 das “Marktrecht” abringen. Im darauf folgenden Jahr 1579 ist das Schloss baufällig. Der erzherzogliche Hofbaumeister Albrecht Luchese begutachtete den Schlosskomplex und sein Kostenvoranschlag für die Restaurierung belief sich auf 1484 Gulden. Ob es zu dieser baulichen Erneuerung gekommen ist, ist nicht bekannt.
Im Jahre 1636 verwüsteten (wohl schwedische) Soldaten des Schloss, das von da an über ein Jahrhundert lang trotz zahlreicher geplanter Renovierungen in schlechtem, baulichen Zustand blieb. Am 8. März 1660 zog ein neuer Pfandinhaber ins Schloss ein, der bisherige Schlossherr, dessen Vertretung der jeweilige Pfleger inne hatte, Erzherzog Ferdinand hatte den Irmatshofer Herrschaftsbesitz für 60000 Gulden dem Grafen Leopold Fugger von Babenhausen verpfändet.
In den folgenden Jahrzehnten zu Ende des 17. Jahrhunderts wurden zahlreiche Gutachten zum baulichen Zustand des Gebäudes abgegeben und viele Restaurierungen in Augenschein genommen, u.a. in der Zeit von 1660 bis 1680, wobei der Maurermeister Hans Zwölfer und der Zimmermeister Georg Wachter aus Irmatshofen bzw. Sohler mit 738 Gulden entlohnt wurden. Im Jahre 1695 war das Schloss am Einfallen; der dabei aufgestellte Überschlag betrug schon 3042 Gulden. Die Nachfahren der o.g. Handwerker, Barthelmä Zwölfer und Jakob Wachter bewerkstelligten Anno 1699 für 717 Gulden die Abtragung des gefährdeten Mauerwerks und die Wiederherstellung des Dachstuhls, nachdem durch Sturm ein Giebel eingestürzt war und das “Täfer” durchschlagen war.
Die vermutlich 1719 erstellte Beschreibung der vorderösterreichischen Pfandherrschaft erwähnt erstmals nur drei Schlosstürme, während die Urbare aus früheren Jahrhunderten von vier Türmen sprechen. Im übrigen waren die Gebäude im einzelnen innen und außen durch die laufenden Restaurierungen ständigen Veränderungen unterworfen. Die Tatsache, dass der Pfleger als Vertreter der Herrschaft seinen Sitz im Schloss hatte, belegen die Quellen aus verschiedenen Zeiten, in dem sie stets von einer “Ambst- oder “Pflegerstube” sprechen. Im Übrigen bleibt festzuhalten, dass neben der “niederen Gerichtsbarkeit”, also die Ahndung von Diebstählen, die Verstöße gegen die “Fron- und Naturalabgaben”, die Nichtbeachtung der Besitzveränderungsgebühren (“Laudemium”), die Verweigerung des “Brautlaufs” und die Zurückhaltung von Einnahmen aus dem “Bier-Umbgeld” der “Tafernwirthe”, auch die “hohe Gerichtsbarkeit”, Halsgericht und Blutbann aus der Riedheimer Zeit, also die Bestrafung schwerer Verbrechen wie Mord und “Todtschlag” dem Pfleger im Auftrag des Grundherrn oblag.