A Fővárosi Múzeumból kőfaragóműhely lett, majd Olof Palme Ház néven újból kiállítóhely
Az első részben bemutattuk a legrégebbi városligeti épület külsejét, amelyről egyértelműen leolvasható, hogy a művészetek otthonának, műcsarnoknak szánták. Ezt jelzik a nagy reneszánsz képzőművészek portréi, a múzsaszobrok és a művészeti ágak szimbólumai a homlokzatán. A terv csak részben valósult meg. Műtárgyakat helyeztek el a ligeti pavilonban és hosszú ideig valóban kiállítóhelynek használták, csak másképp, mint ahogy eredetileg tervezték. Az épület 132 év alatt betöltött funkciói közül a múzeumi vált a leghangsúlyosabbá. Története során leghosszabb ideig, négy évtizeden át a Fővárosi Múzeum központi kiállítóhelyeként szolgált a ház 1896–1936 között.
A főváros vezetése 1887-ben hozott döntést az önálló Fővárosi Múzeum létrehozásáról. A következő évtized a gyűjtőmunkával és a kiállítási helyszínek létrehozásával, illetve keresésével telt. Az ásatásokkal feltárt római emlékeknek Aquincumban emeltek kisebb múzeumépületet, a Halászbástyán középkori kőtárat alakítottak ki. Az újkori várostörténeti emlékeket pedig a Városháza épületében kezdték összegyűjteni. Időközben a főváros százezer forintért megvásárolta az államtól a városligeti régi műcsarnoki épületet. Kézenfekvő volt, hogy itt mutassák be a festményekből, szobrokból, makettekből, dokumentumokból és tárgyi emlékekből álló, gazdag várostörténeti gyűjteményt. A mai Hősök terén álló új Műcsarnok 1896-os átadása után el is kezdődtek a régi Műcsarnokban az átépítés és berendezés munkálatai. De csak egy évtized múltán, 1907 nyarán nyitotta meg kapuit a ligeti Fővárosi Múzeum a közönség előtt.
Az 1250 négyzetméter alapterületű városligeti épület eredetileg egyszintes volt, tűzálló tetőzettel. Két nagyterme üvegtetős felülvilágítón át kapta a fényt. Ezekhez hat oldalvilágítású terem és négy kisebb oldalterem csatlakozott. Az épület főbejárata középen, az oldalszárnyakból kiemelkedő, gazdagon díszített előcsarnokra nyílt. Innen két irányba, jobbra vagy balra elindulva lehetett elérni az alacsonyabb oldalszárnyakban elhelyezett kiállítási termeket. A főbejárat eredetileg az egykori Királypavilon és az Iparcsarnok felé nézett. Később a könnyebben megközelíthető, Stefánia úti oldal ajtóit használták erre a célra. A változtatást a ház szimmetrikus kialakítása átépítés nélkül is lehetővé tette.
Az 1907-es megnyitó ünnepségről a kiváló zsurnaliszta és műkritikus, Schöpflin Aladár több lapba is írt tudósítást. Schöpflin, aki „sajtófőnökként” akkor már néhány hónapja a Fővárosi Múzeum alkalmazásában állt, a Vasárnapi Újságban így méltatta a létesítményt: – A főváros egy új kultúrintézményt adott át június 2-án: a Fővárosi Múzeumot, amely a város múltjának történeti emlékeit őrzi meg s teszi a nagyközönség közkincsévé. A szép és gazdag gyűjtemény hivatva van nagy szerepet betölteni, mert – mint a megnyitáskor gróf Apponyi Albert miniszter mondta –, felmutatja azokat a gyökérszálakat, melyekkel a főváros a nemzeti történet talajába bele van gyökerezve, s mert a múlt megismertetése által erősebb kötelékekkel fűzi hozzá a polgárságot a jelenhez. S hogy a művelt közönség állandó érdeklődéséhez vezető utat könnyen meg fogja találni, arra vall az is, hogy már az első napon, amikor a múzeum megnyílt a nagyközönség számára, június 3-ikán szokatlanul nagy és érdeklődő közönség látogatta e gyűjteményeket a társadalom minden rétegéből.
Schöpflin optimista jövőképét sajnos a valóság nem igazolta, a ligeti múzeum nem vált elismert és népszerű kiállítóhellyé. Eleve csak nyáron tartott nyitva. Az épület helyiségei nem voltak fűthetőek, és csak a természetes fény világította meg a termeket, így ősztől tavaszig nem volt látogatható. De a szakmai munkára és a látogatottságra is kiható problémák legfőbb oka a zsúfoltság volt. A krónikus helyhiány miatt például a pincében tárolt középkori kőfaragványokat idővel kirakták a múzeum elé, a parkba. Az évtizedek során felhalmozott, több tízezer tárgyból álló, hagyatékokkal is folyamatosan gyarapodó gyűjtemény raktározására és bemutatására kicsinek bizonyult a műcsarnoki épület. Ezt belátva 1936-ban bezárták a ligeti várostörténeti kiállítást. A gyűjteményt a Fővárosi Képtárral együtt tágasabb helyre, a főváros által megvásárolt Károlyi-palotába költöztették. Hosszú évekig üresen állt a funkció nélkül maradt épület. A bombázásokat és az ostromot átvészelte, miközben körülötte minden más építményt leromboltak a légibombák. Világítótetői azonban a többi ligeti múzeum üvegtetőihez hasonló sorsra jutottak. Összetörtek egy bombatalálattól. 1944–45 telén termeibe behullott a hó és esővíz. A belső díszítmények, a gipszstukkók, a falak díszfestései tönkrementek.
A ház hányattatásai a második világháború után folytatódtak. A bombatalálattól a tetőszerkezet beszakadt ugyan, de a falak és a külső Zsolnay-díszítmények szerencsére épségben megmaradtak. A főváros a tetőt a háború után kijavíttatta, így a beázások megszűntek. Arra azonban ettől kezdve senki nem törekedett, hogy helyreállítsák a tetőzet és a belső terek eredeti állapotát. Egy évtizedig használaton kívül állt, majd 1954-től újra kulturális funkciót kapott az épület. A Képzőművészeti Kivitelező Vállalat kőszobrászainak műhelye lett. Belső terét ennek megfelelően 1958-ban dr. Bardon Alfréd műegyetemi professzor tervei alapján átépítették. Az eredetileg egyszintes térbe emeletet illesztettek, ahol irodákat és modellező műtermeket alakítottak ki. Az egykori földszinti kiállítótermekből pedig kőfaragó műhelyek lettek. A hátsó bejárathoz rámpát csatlakoztattak, ezen keresztül lehetett beemelni a műhelyekbe a teherautón érkező, faragásra előkészített több tonnás köveket.
Az épület belső tere 1958-tól évtizedekre ipari jellegűvé vált. Az eredeti architektúra megsemmisült, a stukkódíszítések és gipszpárkányok teljesen eltűntek, a középtermek ornamentális festményei csak nyomokban maradtak meg. Kivülről viszont továbbra is őrizte eredeti, műcsarnoki megjelenését. Az egykori kiállítótermekben ügyeskezű kőfaragó mesterek faragták márványba, mészkőbe a nagyméretű szobrokat neves művészek eredeti méretű gipszmodelljei alapján. Százszámra készültek itt az ország köztéri kőszobrai egészen 1986-ig, az állami vállalat felszámolásáig.
A rendszerváltozást követően, 1990–1993 között a jelenlegi Műcsarnok költözött be a Hősök teréről az épületbe, az ottani felújítási munkák idejére. 1993-ban a ligeti épületet is átesett egy kisebb felújításon, majd kulturális, közösségi rendezvényekre bérbe adták. A Magyar Alkotóművészeti Közalapítvány 2008–2015 között a házat ismét képzőművészeti kiállítóhelyként hasznosította. Olof Palme Ház néven a Magyar Alkotóművészek Háza lett, kiállításoknak és művészeti aukcióknak adott otthont. 2015 óta a Városliget Zrt. kezeli azzal a céllal, hogy a Liget Budapest Projekt keretében restaurálják, felújítsák és új tartalommal töltsék meg a Liget legrégebbi épületét.