In de 19de en het begin van de 20ste eeuw hoefden buitenlanders die in België kwamen werken daarvoor geen speciale formaliteiten te vervullen. Pas in de jaren 30, onder invloed van de Grote Depressie, maakte het idee opgang dat de tewerkstelling van niet-Belgen strikt gecontroleerd moest worden. In 1936 werd een KB uitgevaardigd waarin gesteld werd dat buitenlanders voortaan over een speciale arbeidsvergunning moesten beschikken. De kern van dit besluit blijft tot vandaag gelden.

Het was hier, bij de toenmalige Rijksdienst voor Arbeidsvoorziening (RVA), dat alle niet-Belgen die zo’n vergunning nodig hadden hun aanvraag moesten indienen. De meeste buitenlandse werknemers passeerden er dan ook tijdens hun verblijf in Gent.

In de gouden jaren 60 waren er belangrijke personeelstekorten. In die tijd werden nieuwkomers meteen doorgestuurd naar bedrijven die dringend arbeiders nodig hadden. In het midden van de jaren 70 echter brak de oliecrisis uit. Hierdoor veranderde de kerntaak van de dienst. De meeste aandacht ging nu naar de opvang van mensen die zonder werk kwamen te zitten. Vooral in de jaren 80 werd het Huis van de Arbeid een symbool voor de werkloosheidscrisis, die zowel de Belgische als de buitenlandse arbeiders zwaar trof.