A ház a nevét onnan kapta, hogy itt lakott 1858-60 között Budenz József, a német származású kiváló finnugor kutató, a magyar összehasonlító nyelvészet meg­te­rem­tő­je.
Az épü­let jel­leg­ze­tes copf stí­lu­sú hom­lok­za­tát 1781-ben nyer­te. Alap­jai kö­zép­ko­ri­ak, amit a ta­ta­ro­zás so­rán elő­ke­rült XI­II. szá­za­di kút is bi­zo­nyít. Az 1781-es vég­le­ges ki­ala­kí­tás előtt több­ször is ala­kí­tot­ták, át­épí­tet­ték.
Szé­kes­fe­hér­vár e szép mű­em­lék­ét a Vá­rosi Ta­nács ál­do­zat­kész­sé­ge ál­lí­tot­ta hely­re ré­gi for­má­já­ban, 1968-69-ben. A ki­ál­lí­tás 1969. má­jus 19-én nyílt meg. El­ren­de­zé­sé­ben igye­kez­tünk meg­őriz­ni a ma­gán­gyűj­te­mény jel­le­gét, ahogy azt Ybl Er­vin hosz­szú éle­te so­rán ki­ala­kí­tot­ta.


Az Ybl-csa­lád az auszt­ri­ai Klos­ter­ne­u­burg­ból ke­rült Ma­gyar­or­szág­ra a XVI­II. szá­zad ele­jén. Ne­vük elő­ször 1714-ben for­dul elő a szé­kes­fe­hér­vá­ri ke­res­ke­dők lis­tá­ján.
Ybl Mik­lós 1814. áp­ri­lis 6-án szü­le­tett Szé­kes­fe­hér­vá­rott. Az épí­té­sze­tet Bécs­ben ta­nul­ta, majd itt­hon Pol­lack Mi­hály ke­ze alatt kez­dett dol­goz­ni. A neo­re­ne­szánsz-­ro­man­ti­kus stí­lus leg­ki­vá­lóbb ha­zai mes­te­re lett. Fő mű­vei: a fó­ti temp­lom (1845-55), a pes­ti Un­ger-­ház (Mú­ze­um krt. 7.), az egy­ko­ri Nem­ze­ti Lo­var­da (1857-58), a mar­git­szi­ge­ti für­dő (1860 után), az egy­ko­ri Vám­ház - a mai Köz­gaz­da­ság­tu­do­má­nyi Egye­tem - (1870-77), a Vár­kert ba­zár (1857-78), és az Ope­ra­ház (1875-84).
1860-65 kö­zött épül­tek jel­leg­ze­tes há­zai Szé­kes­fe­hér­vá­rott, a mai Vö­rös­mar­ty té­ren. So­kat épí­tett a me­gyé­ben is (Al­csút, Csák­vár, Dég, Er­csi, Fe­hér­vár­csur­gó, Lo­vas­be­rény).
Ybl Mik­lós uno­ka­öcs­cse, Ybl La­jos (1855-1934) szin­tén épí­tész volt. Mik­lós mel­lett dol­go­zott, rész­ben kö­zös mun­ká­juk a Vár­kert ba­zár és a Bu­dai Vár krisz­ti­na­vá­ro­si szár­nyá­nak ki­ala­kí­tá­sa is.
Ybl Er­vin (1890-1965) mű­vé­szet­tör­té­nész, Ybl La­jos fia, az olasz kö­zép­ko­ri és ko­rai re­ne­szánsz szob­rá­szat leg­ki­vá­lóbb ma­gyar is­me­rő­je volt. 1962-ben kelt vég­ren­de­let­ében Szé­kes­fe­hér­vár vá­ros­ára hagy­ta je­len­tős csa­lá­di és kép­ző­mű­vé­sze­ti gyűj­te­mé­nyét.