1913 eröffnet, ging das Museum aus der in Ostasien zusammengetragenen Kunstsammlung des Ehepaars Adolf und Frieda Fischer hervor. Bei ihren Ankaufsreisen entlang der europäischen Dampferrouten, die über Istanbul bis nach Yokohama führten, erwarben sie in den großen Hafenstädten auch eine umfangreiche Kollektion von Fotografien aus überwiegend kommerziellen Fotostudios, die nach der Öffnung des Suez Kanals 1869 von einheimischen und europäischen Fotograf:innen etabliert wurden um die Nachfrage nach Reisefotografien zu decken.
Zum Bestand der rund 1.500 Abzüge gehören auch Fotografien, die Adolf Fischer selbst während der Reisen aufnahm. Außerdem eine Reihe von Fotoalben aus dem Nachlass deutscher Militärangehöriger, die in China stationiert waren und bevorzugt in Japan ihren Urlaub verbrachten. Während die Fotografien aus China oftmals kolonialistische Botschaften transportieren, verweisen die handkolorierten Fotoaufnahmen der japanischen Fotostudios auf den Einfluss des japanischen Farbholzschnitts.
Nach einem Bombenangriff 1944 wurde der ehemalige Museumsbau und Teile der Sammlung zerstört, darunter die Glasplatten aus der Fotosammlung. Nachdem der erhaltene Bestand zunächst in Vergessenheit geriet, wurde er in den 1990er Jahren wieder neu entdeckt und erlangte einen eigenen Stellenwert innerhalb der Museumssammlung, der seitdem stärker im Fokus steht.
