Navnet kræver en forklaring. En ”høl” er navnet på en hulning under vandfaldet, der skabes af det fossende vand. Det er værre med stednavnet "stave"?
Der er mange fantasifulde teorier om navnet, men det henfører måske til stænger og stave, man brugte som pejlemærker for at bygge Østerlars Kirke i forhold til årets kirkelige højtider.
Hele egnen af Gudhjem har således stenavne som Stangegård, Stokkelund, Sigtevej og Stavelund. Fra en åbning i Østerlars Kirke er der udsigt til solopgangen over Stavehøl og Christiansø på årets længste dag – andre åbninger viser til solnedgangen.
Vandfaldet Risebækken er omgivet af en okkerfarvet skifer. Med en højde på 2,5 meter er det øens mindste vandfald – måske er stedet øens flotteste naturperle.