Le nom du château vient, sans doute, de celui de la fontaine "Barum" qui existait sur ces lieux à l'époque romaine. L'ensemble, château, pigeonnier, communs et parc sont inscrits à l'Inventaire Supplémentaire des Monuments Historiques (ISMH). Situé en bordure des trois provinces Touraine, Anjou et Poitou, le site bénéficie d'une très lointaine vue d'ensemble sur la plaine du Haut Poitou vers le sud. La partie sud du château a été construite à la fin du XVème siècle et la partie nord au début du XVIIIème siècle. Les deux charpentes sont parfaitement visibles au dernier étage. Un pigeonnier très important (2800 boulins), avec une échelle qui peut encore tourner, atteste de l'importance du domaine à l'époque de sa construction.