Borgen havde høje stenmure mod søen, der fungerede som en voldgrav rundt om borgen. Da man lavede landevejen, måtte man regulere vandstanden med en sluse.
Langs murene var der boliger til beboelse, samt et højt vagttårn ved indgangen. Borgens vandforsyning var søen. Ved udgravninger har man fundet grønne glasskår efter ruder og polerede søjler, borgen var således smukt lavet efter tidens forhold. Måske var Lilleborg landets første borg glasruder.
Omkring 1259 blev borgen stormet og nedbrændt af Anders Erlandsen, biskoppen af Lunds bror, der var høvedsmand på Hammershus, samt den vendiske Fyrst Jaromar af Rygen. I den hårde kamp mister 200 danske soldater livet, og Lilleborg hørte til vores fortid.