Im Innenraum der Wallanlage befinden sich in einer wallartig umgebenen Einsenkung die nicht sichtbaren Fundamentreste einer mittelalterlichen Kapelle, die dem Heiligen Laurentius geweiht war. Wann die Kapelle aufgegeben und zerstört wurde, ist nicht bekannt. Um das Jahr 1700 wird berichtet, dass noch Reste der Mauer zu sehen sind. Im Jahre 1980 fand im Inneren der Kapelle eine Sondage statt. Anhand der wenigen und nicht systematisch geborgenen Funde (Gefäßbruchstücke, Kalkputz, Flachglasscherben, Ziegelreste und menschliche Skelettreste) lässt sich eine zeitliche Einordnung in das Spätmittelalter und in die frühe Neuzeit vornehmen. Um die sogenannte Laurentiuskapelle und den sie umgebenden Ort ranken sich mehrere Sagen. So wird berichtet: "Die Kapelle soll reich und schön geschmückt gewesen sein, und es sollen abwechselnd die Mönche der Klöster Rohr und Veßra in derselben den Dienst versehen haben (...). Einer der Geistlichen (...) hatte die Obhut über ein ‚ewiges Licht‘ in der Lorenze. Da in der Stiftungsurkunde über die Erhaltung dieses ewigen Lichtes ausdrücklich bedungen war, daß die Lampe nie erlöschen dürfe (...), so wurde stets darauf gesehen, daß kein ganz junger Geistlicher zu dessen sorgsamer Obhut bestellt wurde. Gleichwohl schützt Alter nicht vor Thorheit, und ein nicht mehr junger Pfleger jener heiligen immer brennenden Ampel vergnügte sich in den Armen eines schönen Beichtkindes aus Marisfeld, das sehr häufig zu ihm in die Lorenze kam (...). Ueber solchem Bekenntniß (...) ließ der erzürnte Heilige Laurentius (...) plötzlich die ewige Lampe erlöschen, obschon sie der Liebende kurz zuvor reichlich mit frischem Oel gefüllt hatte, worüber letzterer so sehr erschrak, daß er vor Entsetzen umsank und gleich auf der Stelle tod war. Seitdem geht der Geist des Geistlichen um in und außerhalb der Lorenze. Am Vorabend des Tages jenes Heiligen müht sich der Geist, die Lampe wieder zu entzünden und [wandelt dreimal um den Berg]. Es schlägt eine Glücksstunde für den, der Muth hat, denn jeder Stein, auf den der Strahl des ewigen Lichtes fällt, verwandelt sich flugs in Gold (...). Er muß aber aufhören mit seiner Sammlung, bevor der Geist zum drittenmale den Berg umwandelt hat, sonst gewahrt ihn der Geist und dreht ihm den Hals um.