Villaens historie begynner sent på 1800-tallet. Fra sin onkel og tante Svend og Lena Foyn kjøpte Johs. H. Bull (f.1860) eiendommen St. Olavsgate 6, der “Møllebakken” ble bygget i 1890. Huset ble reist i sveitserstil, noe som dengang var tidens smak.Fra denne store eiendommen fradelte og solgte han de 2 tomtene lenger nede i bakken til Svend Foyn. Her bygde han Svend og Lena Foyns Minde og Svend Foyns Bedehuset som fortsatt ligger der ligger idag.
DE MANGE EIERE I LØPET AV 1900-TALLET
I 1905 ble villaen solgt til konsul Halfdan Wilhelmsen som ga huset et klassisistisk preg, og bygget til tårnet med de store blyinnfattede vinduene. I den vakre trappen opp til 2. etasje sees bl.a. fortsatt monogrammene til Halfdan og Ragnhild Wilhelmsen – øverst i sydvinduet HW og nederst RW.
Inne i villaen fantes både et røkeværelse – i dag kalt Herrens stue, en salong – Fruens stue, i tillegg til ballsalen – i dag Den Gule Sal.Spisestuen og biljardværelset er slått sammen til dagens Festsal.
Parkett, panel og skapinnredning er fra 1905. Det gamle panelet i Festsalen var de gamle, vakre panelene gjemt bak plater. De kom frem ved ombygging og restaurering av salen som Stiftelsen foretok i 1999-2000.
I 1917 kjøpte grosserer Hans M. Vik eiendommen, i 1923 ble det eierskifte igjen til konsul F. Bugge, som solgte til Gustav B. Bull i 1935. Konsul Bugge må ha leiet videre inntil 1939, da borgermester/rådmann Anders Rørholt fikk godkjent i bystyret at bygningen på Møllebakken skulle kjøpes med midler fra Bibliotekets byggefond. Hvis ikke, ville han selv privat gå inn i handelen, ettersom han ikke hadde rukket å legge saken frem for biblioteksstyret.
Den 8. april 1940 ble det besluttet å innrede bygningen til bibliotek med bl.a. omlegging av oppvarmingen. Den skulle være klar til innflytting høsten 1940. Men historien ville det anderledes. Dagen etter invaderte som kjent tyskerne Norge, og “Møllebakken” rekvireres av den tyske okkupasjonsmakten. I mars 1941 tegnes kontrakt med denne – leie kr. 500 pr. måned. I 1946 kunne endelig Tønsberg Bibliotek flytte inn. Det ble reist et tilbygg i mur mellom fløyene på nordsiden, kalt Magasinet. Barneavdelingen holdt til i vestfløyen i 1.etg. I nærmere 46 år holdt biblioteket til her, hvoretter det ble flyttet til glasshuset i Storgaten i 1992. Politikerne hadde i 1988 med overveldende flertall vedtatt riving av bygningen for å gi plass til parkeringsplasser for Haugar Kunstmuseum, som også var under etablering. Men slik gikk det heldigvis ikke.