Carl Knudsen-gården eller Grøgaard-gården som den opprinnelig het ble bygget av Johannes Grøgaard i 1827. Tomten på hjørnet av Strandgaten og Nygårsgata ble festet av søstrene Christensen på Lillesand gård.  I branntakstene fra 1837 står det at tomten da var bebygd med et to-etasjes laftet og kledd tømmerhus med to fløyer på baksiden. Videre var det reist bryggerhus og bryggerhuskammer med ”tobaksvinkel”, pakkboder og loft i tillegg til vognskjul, fjøs, stall og låve. Dette er den samme bygningsmassen som står der i dag. Det lille huset hvor museumsbutikken holder til ble bygget i 1884.

Prestesønnen Johannes Grøgaard (1797–1878) fra Vestre Moland, var handelsmann, verftseier, skipsreder og konsul. Grøgaard drev butikk, kolonial og manufaktur i første etasje i hovedbygningen og hadde et tobakksspinneri i bakgården. Virksomheten i Nygårdsgata kom i tillegg til Grøgaards andre forretninger. Inntektene hans kom først og fremst fra skipsverftet på Kokkenes, skipsrederi og ikke minst trelasthandel.

Noen år etter Grøgaards død, i 1884, ble gården auksjonert bort. Kjøperen var skipskaptein Carl Knudsen. Carl Knudsen var sønn av båtbygger Knud Thorsen fra Fjære i Grimstad som hadde flyttet til Lillesand i 1830 årene. Blant brødrene til Carl var Ole og Peder som etablerte O&P Knudsen verft og rederi i 1876. Carl førte mange av brødrenes skip som kaptein.

Carl Knudsen gikk etter hvert i land og begynte å drive rederi, forretningsvirksomhet og dampskipsekspedisjon. Knudsen eide også gården Grasham på Birkenes hvor Birkenes bygdemuseum holder til i dag. I tillegg var han aktiv i kommunepolitikken og var blant annet Lillesands ordfører og derfor byens representant i Christiania da Kong Haakon og hans familie ankom landet i november 1905.

Knudsen hadde selv kontor i første etasje i hovedbygningen. I tillegg leide han ut lokaler i huset til annen forretningsvirksomhet. Blant annet holdt en periode en dansk skredder til i første etasje. Etter Carl Knudsens død i 1914 ble gården først leid ut til dampskipsekspedisjon Hansen & Narvesen og senere til lensmann Henrik Hansen som holdt til i huset frem til 2. verdenskrig.

Carl Knudsens datter Thyra Mercedes Knudsen flyttet inn i hovedhuset i 1950-årene og bodde her frem til sin død i 1963. I sitt testamente gav hun Lillesand Kommune førsterett på kjøp av huset med klausul om at bygningene og interiøret ble brukt som museum.

Ved hjelp av lokal arbeidsinnsats og økonomisk støtte fra Kulturfondet ble så det etablert et museum i Carl Knudsen-gården. Museet har vært i drift hver sommer fra 1970. Frem til 2009 ble museet drevet av Lillesand kommunes museumsnemnd og museumsbestyrer Alvhild Gulbrandson. Foreningen Carl Knudsen-gårdens venner (Nå: Lillesand by- og sjøfartsmuseums Venner) var sentral i arbeidet med å samle inn og ta vare på gjenstander til museet. Foreningen er fortsatt sentral i driften av museumsbutikken.
Lillesand Sjømannsforening disponerer størstedelen av førsteetasjen i museumsbygningen mot en mindre leie.

Etter et politisk vedtak var Lillesand by- og sjøfartsmuseum konsolidert med Aust-Agder kulturhistoriske senter i perioden 2008-2011. Fra januar 2012 er museet tilbake i kommunal drift. Museet har kun èn heltidsansatt. Ansvarlig for driften er museumsbestyrer Anne Sophie Høegh-Omdal. Om sommeren er det i tillegg bruk for tre sommerguider til de daglige omvisningene. 

Fra januar 2020 ble det slutt på tilskuddet fra fylkeskommunen. Det betyr at Lillesand kommune nå fullfinansierer museets drift. Lillesand by- og sjøfartsmuseums Venner gir støtte til utstillinger og spesielle behov, basert på inntekter fra Museumsbutikken.