Здание было сооружено в 1666 году оружейными баронами — братьями Людвигом и Хендриком Трипами. В начале XIX века король Луи Наполеон разместил в строении Королевский Институт Наук и Искусств, который стал предшественником современной Нидерландской Академии Наук. С 1816 по 1885 год в состав комплекса входил Национальный Музей Амстердама.
В XVII веке это монументальное здание было одним из самых роскошных и впечатляющих строений в городе. Проектировал его голландский архитектор Юстус Вингбоонс. Братья Трип занимались продажей оружия, что получило отражение в тематическом оформлении фасада здания.