Toldergade hed tidligere Toldbodgade, for her for enden af gaden ned mod havnen lå i sildemar-kedstiden byens toldbod.
Gaden domineredes på den søndre side tidligere af ”Kongevejsgården” (Kongevejen 18) samt Kroen/”Dragør Strandhotel” (
Strandlinien 9), mens det er biografbygningen, ”Dragørgård”s hovedbygning samt ejendommen ”Blå Hane”, der tegner den nordlige side.