Le château a été construit autour de 1520 par un certain Hugues Cartier, nommé receveur par le vicomte Louis d’Amboise. Il est entouré de douves plus décoratives que dissuasives. Bâti en 1520 en granit et en roche métamorphique, à l'exception des lucarnes en tuffeau et des marches de l'escalier en vis en calcaire à ammonites de Thouars, le château fut incendié durant la Révolution et si l'aile nord demeure à peu près intacte, terminée par deux échauguettes décoratives, l'aile Est a été amputée. Le château de Vermette a été inscrit aux monuments historiques le 29 décembre 1941.