Ud over musik var han temmelig uinteresseret i skolen. Alt var centreret om musikken, og når han for eksempel skulle have idræt, bad han om fritagelse for ikke at beskadige sine fingre. Gymnastiklæreren accepterede det, hvis Jakob i stedet ville løbe hele timen. Det gjorde Jakob så – det vil sige, han løb op til Nicolai Kirke og øvede.
I gymnasiet, hvor han var iklædt kjolesæt fra Frelsens Hær, overskyggede musikken også alt. Han lavede arrangementer til sin musikklasse og såmænd også til otte kvindelige gymnasielærere, som havde dannet en barbershop ved navn Carmen Curlers.
Rejsen til Paris
Midt i Jakobs gymnasietid flyttede hans forældre "hjemmefra", nemlig til Rørvig, og Jakob til Sankt Annæ Gymnasium. Klassen betragtede ham dog som en umusikalsk bondeknold, så han opgav efter halvanden måned og flyttede tilbage til Bornholm, men den næstsidste dag i skolen spurgte musiklæreren, om Jakob ville give et par eksempler fra en Bach fuga. Da Jakob så spillede hele fugaen, som varede 15 minutter og uden noder, blev han pludselig ganske populær, og alle ville spille med ham, men da var det bare for sent.