Familien Halberg startede deres tobaksproduktion i 1887. Dengang var hovedadressen Møllergade 20, men her blev pladsen snart for trang. Allerede omkring 1890 begyndte tobaksproduktionen i Hulgade, der var en af Svendborgs snævreste og stejleste gader. Her havde man pakhus og rum til cigarmagerne. Virksomheden bredte sig med tiden over flere matrikler i Hulgade.

Det var særlig efterspørgsel på pibetobak og i 1962 opkøbte Halberg en hel husrække i Hulgade og lod husene nedrive. I 1965 kunne man indvie en stor ny pibetobaksfabrik i tre etager, der blev forbundet med de gamle fabriksbygninger med en gangbro. Nu var fabrikken stor nok til fremtiden, mente man.

Men allerede i 1972 var produktionen hos Halberg 160 gange større end i 1945, så produktionen måtte flytte igen – denne gang til det nuværende domicil på Porthusvej. Fabrikken på 1965 blev siden udlejet til Social- og Sundhedskolen. I dag huser den gamle tobaksfabrik et Sundhedshus.