Im Spätmittelalter war Wolferschwenda im Nordwesten, Norden und Osten von einem 6 m breiten und mehr als 2 m hohen Wall umgeben, der sich heute noch gut sichtbar im Gelände an der Nordostecke des Dorfes abzeichnet. Die Dorfbefestigung wird im Volksmund als "Finkenburg" bezeichnet. Es handelt sich wohl um den Namen einer ehemals in der Nähe befindlichen mittelalterlichen Adelsburg, der auf den Ortswall übergegangen ist.