Peter Fritzen voksede op i Nordvest-kvarteret i København, i en lille toværelses lejlighed i et arbejderkvarter.
Dette prægede ham igennem hele hans liv. Det påvirkede den måde han tænkte, handlede og agerede på, og kom til udtryk i en enorm retfærdighedssans. Det påvirkede også den måde han underviste på, og den måde han drog omsorg for de oversete elever –de skæve, de kreative og dem på de bageste rækker. De fandt et fristed på Hintze og i ”PF-byen” som den så kærligt blev kaldt.
I hans privatliv havde han det ikke nemt: Han var omgivet af tre kvinder fra morgen til aften. Men han håndterede det godt og skældte aldrig ud. De konflikter der opstod, blev løst med lune bemærkninger som "Jeg smider dig i småt brændbart", "Du leger med sygesikringens penge" og "Det der får mit privatliv og arbejdsliv til at hænge sammen, er at jeg taler, og ikke en kæft lytter". Det var typisk Peter og gav øjeblikkeligt et smil på læben hos resten af os.