Anført af daværende redaktør for Bornholms Tidende, M.M. Smidt, blev foreningen stiftet med formålet om at støtte danskheden i det sønderjyske område, som Danmark mistede efter nederlaget i 1864.
Foreningen arbejdede blandt andet med oplysningsvirksomhed om sønderjyske forhold, økonomisk støtte til danske medier og biblioteker samt hjælp til sønderjyske elever på Bornholms Højskole. Aktiviteterne blev dog sat på pause under Første Verdenskrig, men efter genforeningen i 1920 reorganiserede man indsatsen for at støtte danskheden i det sydlige Sønderjylland.
Sammenslutning og nye udfordringer
I 1922 blev der også oprettet en lokal afdeling af Grænseforeningen på Bornholm, hvilket førte til spændinger mellem de to foreninger.
Først efter M.M. Smidts død i 1924 blev der etableret et samarbejde, og i 1970 blev de to foreninger endelig sammenlagt under navnet ”Grænseforeningen Sønderjysk Forening”, senere blot kaldet Grænseforeningen.