Auf dem Sporn befanden sich vier Burgen. Kommt man von Ziegenhain nach oben, trifft man nach einem tiefen Halsgraben auf die erste Anlage, Burg Windberg. Sie wurde Anfang des 13. Jahrhunderts gebaut und bis ins 14. Jahrhunderts genutzt. Die nächste Befestigungsanlage ist durch einen weiteren Graben abgetrennt. Bei dieser Burg handelt es sich um die jüngere, d. h. um die wohl im frühen 12. Jahrhundert erbaute Kirchbergburg. Ihr weithin sichtbarer Bergfried ist als Fuchsturm bekannt. Vier Gräben im Westen bilden die Grenze zur nächsten Burg. Diese älteste Anlage befand sich auf dem westlichen Ende des Bergrückens. Sie wird ebenfalls Kirchberg genannt und dürfte bereits im 10. Jahrhundert entstanden sein, da mehrere Urkunden der ottonischen Kaiser hier ausgestellt wurden. Windberg und Kirchberg wurden 1304 durch die Truppen der Landgrafen mit Unterstützung der Städte Erfurt, Mühlhausen und Nordhausen gestürmt. Kirchberg wurde danach nicht wieder aufgebaut. Im Westen schließt Burg Greifberg an, die ebenfalls durch Gräben gesichert wurde. Diese Anlage bestand vom 12. bis 14. Jahrhundert.