La torre pertenecía a la antigua familia romana de los Annibaldi importante junto con los Capocci y con los Orsini durante el siglo XII y quien se convirtió muy pronto en uno de los puntos focales de la clase dominante.
La torre era por supuesto el símbolo de fuerza de estas familias de la nobleza romana.