Han blev født i Ole Peter Raschs store købmandsgård på Store Torv 6 i Rønne. Lars Jakobs far, Kaj Larsen, var købmand og havde købt kolonialdelen af købmandsgården efter Ole Peter Raschs død. Da der skulle bygges biograf i en del af købmandsgården, flyttede familien til Svanekevej i Rønne. Det var nok her, at interessen for landbruget blev vakt. Her var plads til at holde dværghøns og kaniner, og Lars Jakob besøgte hyppigt et par landbrugsejendomme i nabolaget.
Familien flyttede til Nexø, hvor Kaj Larsen blev direktør for den store købmandsgård A/S P. Berg, men det ændrede ikke på Lars Jakob Larsens fremtidsplaner.
– Mine forældre fortalte på et tidspunkt, at fra jeg var blevet seks-syv år var de ikke i tvivl. Jeg ville gå landbrugsvejen. Stort set alt, hvad jeg foretog mig, pegede den vej, fortæller Lars Jakob Larsen, der som dreng havde både kaniner, brevduer og slagtekyllinger.
Sparede op til gården