Het pand op het Rapenburg nummer 19 beslaat sinds de vroege 16e eeuw het huidige perceel dat bestaat uit een samenvoeging van vier woningen die er vanaf de late 15e eeuw hebben gestaan.

De vroegst bekende bewoner van het huis is Paulus Buys, (1531-1594) die een vooraanstaande rol speelde in de tachtigjarige oorlog. Hij was Pensionaris van Leiden en stond destijds in nauw contact met Willem van Oranje; hij was voor korte tijd lid van de Raad van State en eveneens hoogheemraad van Rijnland en Curator van de Leidse Universiteit. Hij gold als een van de 18 alderijcste burgers van de stad Leiden.
Het huis werd in de jaren na Buys bewoond door welgestelde Vlaamse kooplui, onder wie Daniël van der Meulen (1554-1600), die nauw betrokken was bij de nieuwbouw van het Leidse stadhuis en ook bevriend was met de Prins van Oranje.

De volgende periode zag de familie Paets als bewoners van het pand. Deze vooraanstaande familie heeft drie generaties lang in het pand gewoond en elke generatie was op een bepaalde manier betrokken in de plaatselijke politiek. Burgemeester Willem Paets (1596-1669) gaf de opdracht voor de bouw van de classicistische achtergevel, die waarschijnlijk is ontworpen door Arent van 's Gravensande, die ook het ontwerp leverde voor de Lakenhal in Leiden.

De schatrijke koopman Johannes van Bergen van der Grijp (1713-1784), voormalig hoofd - administrateur van de Nederlandse regering in Batavia, is verantwoordelijk voor de verbouwing van de voorgevel van het pand in de tweede helft van de 18e eeuw tot de huidige staat. Het huis moest toen ingrijpend worden aangepast voor het nieuwe bordes en souterain.

Het opvallende plafond in de grote zaal is een ontwerp van de Engelsman James Wyatt (1748-1813), de meest gevierde architect in Engeland in het laatste kwart van de 18e eeuw. Werken van Wyatt zijn zelden te vinden buiten Engeland: het ontwerp van dit plafond is met zekerheid aan hem toe te schrijven door de correspondentie gevoerd met de toenmalige bewoner van het pand, Johannes Meerman (1753-1815), die er slechts kort woonde. De naam van deze belezen heer die door koning Lodewijk Napoleon was benoemd tot Directeur-Generaal der Wetenschappen en Kunsten, leeft voort in de naam van het museum Meermanno-Westreenianum, waar het grootste gedeelte van zijn privé-bibliotheek zich bevindt.

De volgende eigenaresse verhuurde het huis aan de uit Duitsland afkomstige, in Nederlandse dienst werkzame arts Philip Franz von Siebold (1796-1866). Siebold woonde zelf maar heel kort in het huis en gebruikte na overname van de eigenaresse het pand om zijn indrukwekkende verzameling Japanse curiosa ten toon te stellen voor het publiek. Zelf woonde hij gedurende een deel van het jaar in Huize Nippon aan de Lage Rijndijk te Leiden, en voor een ander deel van het jaar in Duitsland.

Hij verhuurde het van 1837 tot 1844 aan de studentensociëteit Minerva, dat uiteindelijk verhuisde vanwege ruimtegebrek. Hij verhuurde daarna het pand aan een Duitse collega, de hoogleraar in de Botanie Caspar George Carel Reinwardt. (1773-1854)

De laatste particuliere eigenaar van het pand was Petrus de Raadt (1796-1862), de stichter van instituut Noorthey in Voorschoten. Na diens overlijden in 1862 kwam het huis aan de Staat der Nederlanden, die er de arrondissementsrechtbank en het kantongerecht in vestigde.