Budovu dnešní restaurace Táferny dal postavit opat cisterciáckého kláštera ve Žďáře nad Sázavou Václav Vejmluva kolem roku 1720. Opat Václav Vejmluva byl synem sládka pivovaru v Brně v klášteřeu cisterciaček. Do našeho hostince proto pivo zasílal otec opata a on sám osobně chodil pivo ochutnávat, aby mělo dobrou kvalitu. Tento hostinec tedy patřil k cisterciáckému klášteru a sloužil jeho potřebám. Fungoval jako ubytovna a hospoda pro italské stavební dělníky, kteří stavěli pod vedením stavitele Jana Santiniho v r. 1719 – 1722 chrám sv. Jana Nepomuckého na Zelené Hoře. V době stavby chrámu dostávali zde stavebníci pivo zadarmo. O stavbu naší restaurace se tedy zasloužil opat Václav Vejmluva – byl velmi vzdělaný a miloval umění. Jeho zásluhou u nás ve Žďáře vznikla světová památka, vrcholné umělecké dílo Jana Santiniho kostel sv. Jana Nepomuckého, který byl vysvěcen 27. září 1722 – zapsaný do seznamu památek Unesca.
Z této doby také pochází název restaurace Táferna – vzniklo zkomolením z italského názvu taverna ( v překladu hospoda ).
Po dostavbě Zelené Hory sloužila ještě restaurace Táferna cisterciáckému klášteru do r. 1791 – kdy byl klášter zrušen. Po zrušení kláštera přešla restaurace Táferna do majetku šlechty a sloužila jako zájezdní hostinec. Nejdříve jej šlechta pronajímala a potom si náš pra pra prapradědeček v r. 1840 hostinec koupil do vlastnictví. Hostinec provozovala rodina do r. 1952. Do roku 1972 zde pouze bydlela a od r. 1996 je po restituci zpět majetkem rodiny a provozován jako restaurace.