Le village a été construit au début du Moyen Âge autour d'un hospice nommé d'après les saints Côme et Damien (Kosmas et Damien). Saint-Côme-d'Olt possède un magnifique centre ville médiéval avec trois portes. Il semble que le temps se soit arrêté.
Nous avons visité l'église paroissiale de Saint-Côme-et-Saint-Damien (XVIe siècle). La flèche tordue du clocher de l'église est remarquable. L'église a été construite en 1522 et est également dédiée aux saints frères jumeaux Kosmas et Damian. Selon la tradition, ils ont tous deux travaillé comme médecins à Pheremma près de Kyrrhos (Syrie) au IIIe siècle. Ils ont soigné les malades gratuitement et ont ainsi converti de nombreuses personnes au christianisme jusqu'à ce qu'elles souffrent le martyre.