Бенедиктинский монах и создатель музея искусства и истории - Флориш Ромер в 1857 году опубликовал идею создания учреждения в местной газете. Его усилия увенчались успехом, и 6 мая 1859 года оно было основано официальным приказом Центральной императорской королевской комиссии по исследованию и обслуживанию архитектурных памятников. Его последователи значительно улучшили коллекцию и назвали музей именем Ромера.

Один из самых красивых барочных дворцов Дьёра является домом музея с 1949 года. Первоначально это здание было приобретено аббатством в 1740-х годах. Оно много раз переходило из рук в руки: сначала его использовали как казарму, затем как приют; в 1802 году им завладели бенедиктинцы, а в 1816 году его приобрело учреждение для обучения священников; в 1857 году здесь была небольшая семинария, с 1910 года педагогический колледж. В настоящее время это - штаб-квартира дирекции окружного музея.

Учреждение на месте бенедиктинского аббатства планировалось создать ещё в 1920-х годах, но тогда оно расположилось лишь на первом этаже культурного центра. После Второй Мировой войны, в 1949-м году, материалы были перенесены в бывший Аббатский Дворец на главной площади города. Коллекции музея, выставки, сувенирные магазины и новые артефакты количественно увеличивались с течением времени. В 1974 году учреждение пополнилось коллекцией скульптора Маргит Ковач, в 1979 году - выставкой творчества Миклоша Борсоса, затем в 1986 году открылась постоянная экспозиция, представляющая репрезентативную коллекцию журналиста и искусствоведа Имре Патко.

1 февраля 2013 года Музей искусств и истории имени Ромера Флориша был представлен в качестве учреждения с широким охватом дисциплин. Одними из его задач представлены обучение посетителей, передача ценностей, сохранение и представление местной культуры. Новый слоган представляет музей, как «Открытый, красочный, живой!».