Im Jahre 1777 nahm Bertuch den fürstlichen Baumgarten für 200 Taler in Erbpacht. Dazu erwarb er 1778 eine anliegende Schleifmühle, um sie als Papier- und Ölmühle auszubauen. Weitere Grundstückskäufe am Baumgarten und am Schweinemarkt (der heutige Goetheplatz) folgten.

Der erste Neubau, nach Entwürfen des fürstlichen Baukondukteus J. F. R. Steiner (heute Nordflügel), entstand von 1780 bis 1782. Das Gebäude errichtete Bertuch in Einbindung der westlich davor gelegenen Gartenanlagen. Geschickt verband er auch hier das "Nützliche mit dem Schönen".

Schiller schrieb 1787 an Körner: "Bertuch habe ich kürzlich besucht. Er wohnt vor dem Tore und hat ohnstreitig in ganz Weimar das schönste Haus. Es ist mit Geschmack gebaut und recht vortrefflich möbeliert... hat zugleich... einen recht geschmackvollen Anstrich von ländlichkeit. Nebenan ist ein Garten... der unter 75 Pächtern verteielt ist, welche 1 - 2 Taler jährlich... erlegen. Die Idee ist recht artig, und das ökologische ist auch dabei nicht vergessen... An dem Ende des gartens ist eine Anlage zum Vergnügen, die Bertuchs Geschmack wirklich Ehre macht. Durch ein wildes buschreiches Wälschen... ist ein Spaziergang angelegt. Ein Grotte, die ihm... das Gewölbe einer Brücke über einen jetzt vertrockneteten Bach dargeboten hat, ist sehr benutzt. Die Bertuchs müssen in der Welt doch überall Glück haben..."

Mit dem Aufblühen seiner geschäftlichen Unternehmen musste Bertuch schon bald an die Erweiterung des Hauses denken. Ab 1800 entstanden der prächtige Mittelbau, mit Bienenkorb und Füllhorn im Giebelfeld, dem Symbol des Fleißes und des Glücks, sowie der südliche Flügel des nun fast 90 Meter langen Baus. Ein die Höfe trennender Bau verband das Gebäude mit der westlich parallel liegenden Manufaktur. Hinzu kamen Gewächshäuser, Wagenremisen und Ställe.

Für die Entwürfe und Ausführungen gewann Bertuch den späteren fürstlichen Baumeister Schlüter. Jedoch nahm er selbst, wie schon bei der Errichtung des ersten Hauses, maßgeblich Einfluß auf das Baugeschehen.

Die Eingangshalle im Mittelbau schmückten Gipsabgüsse nach antiken Vorbildern von Martin Gottlieb Klauer. Links und rechts waren Eingänge in Comptoir und Mustermagazin. Im Zentrum der kassettierten Flachdecke befand sich eine Rosette mit Kopf des Merkur, dem römischen Gott der Handels und Gewerbes.

Den Wandabschluß im Treppenhaus bidete ein Greifenfries, Weisheit und Wachsamkeit verkörpernd.

In dieser Zeit bot sich dem Betrachter der Anblick eines noblen Bürgerhauses von Klassizität.