Det gav Per Madsen et skub til at komme over til kæresten Else, som var flyttet Sjælland, hvor hun arbejde som sygeplejerske.
– Jeg pakkede cyklen og tog herover. Jeg stod på Rådhuspladsen og var kommet til D i telefonbogen. Dansk Påhængsvognsfabrik. Nå påhængsvogne, det kan jeg nok klare, tænkte jeg. Så ringede jeg og sagde, at jeg var lige kommet med båden fra Bornholm og søgte et arbejde. De stod og manglede en smed, og jeg sagde, at jeg kunne lave alt muligt. Så var det var bare på cyklen og af sted og finde et værelse. Det tog mig en halv time at finde et arbejde, og jeg har aldrig prøvet at være arbejdsløs.
– Else og jeg lærte hinanden at kende i Rønne Roklub. Jeg har roet Bornholm rundt fem gange. Det var sådan noget, man gjorde på en weekend, hvis vi startede fredag eftermiddag. Så gik den weekend, og vi fik 110 kilometer i protokollen.
Else og Per Madsen blev gift i 1955 og flyttede året efter ind i et hus, de fik bygget ved Ishøj Strand. Her fik de deres tre børn, og det var her, at Per Madsens spæde politiske karriere begyndte, da repræsentanter fra den lokale socialdemokratiske partiforening bankede på.
Han startede i Ishøj Sogneråd i 1966, og han sluttede sin politiske karriere efter 35 år som folkevalgt.