La construction du Couvent de saint François à Colle Val d'Elsa remonte à la première moitié du XIIIe siècle, lorsque Grégoire IX a émis une bulle papale déléguant le prieur des dominicains de Sienne pour bénir la première pierre de l'édifice. Datant de 1229, cela fait du couvent de Colle l'un des premiers établissements franciscains de Toscane.
Construit sur un sommet en face du village, l'édifice est resté isolé jusqu'aux années 1330, époque à laquelle le pont qui le reliait à l'origine à la ville de Colle Val d'Elsa fut érigé.
Au début de sa construction, le monastère a été construit selon les critères typiquement franciscains de simplicité, d'austérité et de paupérisme, mais au fil des siècles, il a subi de nombreuses transformations, dont la première en 1485, suite aux dommages causés par les troupes du duc Alfonso de Calabre, qui avaient assiégé Colle Val d'Elsa quelques années auparavant.
Le monastère a subi une autre restauration au XVIIIe siècle : les splendides vitraux ont été retirés et déplacés à Colle Alta et à la Cathédrale de Sienne. Par la suite, le couvent a été utilisé comme hôpital pendant quelques années.
Une dernière phase de restauration dans les années 1990 a permis de mettre à jour certaines des fresques originales, dont quelques-unes sont attribuées à Cennino Cennini, Giovanni Maria Tolosani et Pier Francesco Fiorentino.
Aujourd'hui, le Couvent de saint François est simple à l'extérieur, tandis qu’à l'intérieur - avec sa disposition longitudinale - il montre des signes de restauration et de modernisation. Quatre grandes ouvertures en arc brisé, rappelant le style gothique, témoignent de la position des vitraux d'origine, tandis que de nombreuses fresques peuvent être admirées sur la contre-façade, derrière les autels et sur les parois latérales.
Le bâtiment abrite le Centro Tabor, un point de ravitaillement et d'accueil pour les pèlerins traversant la Via Francigena.