Når han ser tilbage på tiden som SF's frontfigur på Bornholm, er det med mange blandede oplevelser og minder.
– Der har været mange gode oplevelser, men det har eddermame også taget meget af min tid, og det er gået ud over familien. Specielt da min kone sad i Regionsrådet, og jeg var meget væk. Der var vi glade for, at vi havde en bedstemor i Olsker, der kunne tage sig af børnene. Og de nød det heldigvis også. Der er jo som regel lidt færre regler hos bedsteforældre, og vores yngste knægt sagde engang, "mor, skal du ikke snart rejse?", fortæller Leif Olsen.
Tiden i politik har også budt på skældsord og, når det var værst, trusler rettet mod Leif Olsen.
– Gennem årene har der været en del øretæver, men hvis man er bange for at få et rap over snuden, skal man ikke stikke den frem. Det værste, jeg har oplevet, var for en del år siden, hvor der var nogen, der truede med at brænde mit hus af. I nogle år havde vi også den regel, at børnene ikke måtte tage telefonen, når den ringede, for det var ikke altid så pænt, det, der blev sagt, fortæller han.