Um das nordöstlich auf der Höhe etwas außerhalb des Ortes liegende Gehöft herum lag ursprünglich ein umlaufender Wall mit innen davorliegendem Graben. Ob es sich um eine ursprünglich als kleine Burg errichtete Anlage handelt, die dann durch das Gehöft weiter genutzt wurde oder um eine Befestigung...

Im Weiherbachsgrund, etwa 700 m von Ulrichswalde entfernt, befindet sich eine kleine Wehranlage und unterhalb davon eine höhlenartige Vertiefung im Sandstein. Der Name Ulrichskapelle deutet auf den Standort einer kleinen Kapelle. Baureste sind allerdings nicht erhalten geblieben.