Het wereldmuseum is gevestigd in het vroegere clubhuis van de Koninklijke Yachtvereniging. het gebouw komt uit 1851 en is in 1910 een verdieping uitgebreid vanwege de grote collectie. de verzameling is per toeval ontstaan door de trofeeen en schatten die de reislieden en zeemanen meenamen van hun verre reizen.