La villa de Fermoselle y su fortaleza, enclavada en la misma frontera con Portugal y dominando el cauce del Duero, tuvo un gran protagonismo en la época medieval. Así sería donada por el rey leonés Fernando II a doña Urraca de Portugal en dote por su matrimonio. Pasaría después de dominio real a depender del señorío del obispo de Zamora, merced a una donación del rey de León Alfonso IX al obispo don Martín en el año 1205.
Su historia como villa integrante de los dominios del obispo zamorano pasaría sin sobresaltos hasta los años de la Guerra de las Comunidades de Castilla (1520-1522), en la que pasó a ser uno de los principales puntos fuertes de los rebeldes comuneros al constituir el principal bastión del obispo de Zamora Antonio Osorio de Acuña, uno de los cabecillas de la rebelión, como señor de la villa que era, atendiendo también a su importancia estratégica como villa fronteriza con Portugal, hasta el punto de que en las mazmorras de su castillo estaría encarcelado el alcalde Ronquillo y sus alguaciles. Así Fermoselle sería uno de los últimos bastiones comuneros en ser tomados por los imperiales, en junio de 1522.