Klasycystyczny modrzewiowy dworek, w którym mieści się dziś muzeum, został wzniesiony pod koniec XVIII wieku na terenie niewielkiego folwarku Firlejowszczyzna pod Lublinem (dziś jest to rejon ulic Łęczyńskiej i Firlejowskiej). W latach 1804–1810 majątek był własnością Franciszka Ksawerego Polla, ojca Wincentego. Sprzedany po wyjeździe rodziny do Lwowa w 1860 roku powrócił do niej na dziewiętnaście lat, jako dar Obywateli Województwa Lubelskiego, po czym znów zmienił właścicieli. Wygląd dworku i okolic znamy z litografii wykonanej według rysunku Napoleona Ordy z roku 1880. W wyniku postępującej od końca XIX wieku industrializacji obrzeży miasta jego otoczenie uległo całkowitemu przeobrażeniu.
Dworek pozostawał na pierwotnym miejscu do 1969 roku, skąd przeniesiono go na posesję przy ulicy Kalinowszczyzna 13 jako pierwszy muzealny obiekt planowanego tu skansenu. W setną rocznicę śmierci Wincentego Pola, 2 grudnia 1972 roku, otwarto w nim muzeum Poety-Geografa. Po zmianie lokalizacji Muzeum Wsi Lubelskiej w 1977 roku został przekazany Muzeum Okręgowemu w Lublinie. W latach 1990–1994 dokonano podpiwniczenia budynku, zyskując dodatkowe pomieszczenia ekspozycyjne i magazynowe.
Mimo że dworek w obecnym miejscu i w dzisiejszej postaci jest jedynie rekonstrukcją, to jego architektura i wnętrza stanowią przykład tak charakterystycznego dla naszych ziem dworu polskiego.
