Het museum is gevestigd in de oude sigarenspeciaalzaak van de firma 't Mannetje. In 1941 begonnen Rein en Nel 't Mannetje met de sigarenzaak, hoewel er in deze periode nauwelijks aan tabak te komen was. Op de fiets werd voor veel geld tabak gehaald uit de Utrechtse Heuvelrug, en deze tabak werd vermengd met amateurtabak die in het Westland geteeld werd. Nel stond in de winkel en Rein werd tijdens de oorlogsjaren tewerkgesteld in Duitsland.Na de oorlog verdiende Rein er wat bij door bij de Gemeente Delft in dienst te zijn waar hij onder andere moest toezien op de kwaliteit van de sportvelden. In 1958 overleed Rein en zijn echtgenote heeft de zaak voortgezet tot 1968.

In dat jaar trouwde Louis Bracco Gartner met Reina, de dochter van Nel en Rein, en nam de zaak, waar inmiddels een postagentschap in gevestigd was, over. Louis was altijd al geïnteresseerd in geschiedenis. Op een dag werd hem een emmer met in Delft opgegraven kleipijpen aangeboden. Hij twijfelde geen moment en kocht ze. Bij het schoonmaken ontdekte hij de grote verscheidenheid aan soorten: pijpen met dikke en dunne stelen, met wel of geen merkje op de hiel, versiering op de kop of geheel glad of van een grove of mooie kwaliteit. In die periode werden er veel kleipijpen in Nederland gevonden. Don Duco, van het Pijpenkabinet, eerst in Leiden en nu in Amsterdam gevestigd, heeft door middel van onderzoek en vele publicaties de pijpelogie in Nederland op de kaart gezet. Zo heeft ook de Pijpelogische Kring Nederland (PKN) door een aantal actieve leden zoals: Hans van Hans van der Meulen, Fred Tijmstra en Jos van Engelen de pijpelogie tot een wetenschap gemaakt. Al eerder was bekend dat de oudste modellen van rond 1600 een gedrongen dubbelconische vorm hadden en dat de pijpenkop, naarmate de tabak goedkoper werd, langzaam slanker en groter werd. Ook bleken er meerdere varianten van te bestaan.

De pijpencollectie van Louis breidde zich uit en telt nu meer dan 12.000 stuks. Via een eerste tentoonstelling, samen met de PKN, tijdens de Rotterdamse Antiekbeurs in de Doelen in Rotterdam (1979), werd verder onderzoek naar de Delftse pijpenmakers gedaan. Voor een tweede tentoonstelling in het Delftse Gemeentearchief (1997) werd de collectie ook in de breedte uitgebreid: er werd documentatiemateriaal aan toegevoegd, alsmede andere objecten die ook met de andere vormen van het tabaksgebruik te maken hebben. De definitieve doorbraak kwam met de tentoonstelling in het Lambert van Meertenmuseum (2000). Het boek, 'De geschiedenis van de Delftse tabaksnijverheid en de historie van de oudste sigarenfabriek van A. Hillen'. uitgegeven door Louis Bracco Gartner is het resultaat van jarenlang onderzoek.

Momenteel determineert Louis samen met een tweetal PKN-leden alle in Delft gevonden kleipijpen en is voorzitter van de onlangs opgerichte 'Stichting Nederlandse Tabakshistorie'. Omdat zijn omvangrijke verzameling meer ruimte vroeg en hij meer overzicht wilde hebben, besloot Louis om na de definitieve sluiting van de sigarenzaak de winkel om te bouwen tot het "Tabaks Historisch Museum Delft".