És un casal fortificat que havia estat la casa forta de la família Margarit. Els Margarit de Sant Gregori eren originaris de Girona i provenien d'una posició social mitjana. El primer personatge conegut fou Bernat Margarit de Girona, que tenia una posició econòmica bastant sòlida, i que segons Santiago Sobrequés i Vidal havia comprat el Mas Vidal i terres a la parròquia de Sant Gregori. També havia comprat l'any 1355, segons J. Calzada, un altre mas anomenat de Riba o altrament Perpinyà a la mateixa parròquia. Eren senyors directes d'aquestes propietats i tingueren homes propis de remença.
Castell de Sant Gregori. Pati interior (març 2017)
Al segle XIV els Margarit de Sant Gregori tenien una bona posició econòmica i títol nobiliari, però no formaven part de l'alta noblesa, sinó que eren cavallers amb dret a usar el seu escut o armes heràldiques. Era membre d'aquesta família Joan de Margarit i de Pau, que fou bisbe de Girona i que morí el 1484. Essent cardenal a Roma continuà governant la diòcesi de Girona i signava cardenal de Girona. També exercí d'ambaixador a Itàlia i intervingué a les Corts Catalanes. La seva vinculació al poble de Sant Gregori el portà a fer estades al "Castell" o solar dels Margarit, del qual n'era hereu.[1] També era de la família el bisbe Joan Margarit i de Requesens, renebot del cardenal Margarit. Fou bisbe de Girona entre 1534 i 1554 i President de la Generalitat de Catalunya (1521-1524
