Po I wojnie światowej i ukształtowaniu się granic odrodzonej Polski na terenie Niemiec pozostała liczna Polonia. 27 sierpnia 1922 r. doszło do zjednoczenia regionalnych organizacji polonijnych i utworzenia Związku Polaków w Niemczech. Centralizacja wzmocniła pozycję narodowego ruchu polskiego wobec władz niemieckich. Związek doprowadził do utworzenia jednolitego kierownictwa, które skuteczniej mogło występować w obronie praw mniejszości polskiej. Prowadził też działalność kulturalną, gospodarczą i polityczną. Jego celem była ochrona praw polskiej mniejszości narodowej oraz dbałość o polskie dziedzictwo kulturowe, jakie znajdowało się w granicach Niemiec.

Organizacja zainicjowała powstanie Centralnego Banku Spółdzielczości Polskiej – Banku Słowiańskiego z siedzibą w Berlinie – który odegrał ważną rolę w finansowaniu działalności polonijnej w Niemczech. Pod auspicjami Związku funkcjonowały też polskie spółki rolno-handlowe, spółdzielnie, zjednoczenia zawodowe, drukarnie, gazety, szkoły, bursy, instytucje opieki socjalnej, stowarzyszenia kulturalne, zespoły artystyczne oraz kluby sportowe. Ze względu na duży obszar objęty działalnością organizacji, wyodrębniono pięć dzielnic obejmujących poszczególne rejony państwa niemieckiego, w których występowały największe grupy mniejszości polskiej. I Dzielnica miała swoją siedzibę w Opolu, II Dzielnica – w Berlinie, III – w Bochum, IV – w Olsztynie i V w Złotowie.

Pierwszym prezesem Związku, do 1933 r. był Stanisław Sierakowski, zamordowany wraz z rodziną w październiku 1939 r. Prezesem IV Dzielnicy obejmującej Warmię, Mazury i Powiśle był ks. Wacław Osiński, w latach 1939-1945 więzień obozów koncentracyjnych w Hohenbruch i Sachsenhausen. W 1933 r. Związek uznał za swój symbol, zaprojektowany przez Janinę Kłopocką Znak Rodła. Największym wydarzeniem w przedwojennej historii organizacji był Kongres Polaków w Berlinie zorganizowany 6 marca 1938 r., na którym uchwalono „Prawdy Polaków”. Po wybuchu drugiej wojny światowej organizacja została zdelegalizowana, a jej majątek skonfiskowano. Część działaczy polonijnych rozstrzelano, a ponad tysiąc członków Związku aresztowano i osadzono w obozach koncentracyjnych. Jako kontynuator organizacji przedwojennej, Związek został ponownie zarejestrowany 7 września 1951 r. Jego siedziba od 1956 r. znajduje się w Bochum.