В первые село Дубовое упоминается в документах четвертой ревизии 1782 года под названием «деревня Дубовка». Документально установлено, что принадлежала она трем помещикам. В начале XIX века деревня отошла к майору в отставке Ивану Абрамовичу О́блову, выходцу из старинного рода помещиков О́бловых (А́бловых). В 1810 году он построил здесь дом, а в 1811 году на средства Ивана Абрамовича начинается строительство церкви Архангела Михаила.
Долгое время окна барского жилища были заколочены, а его хозяин обитал в Москве. В начале 30-х годов Облов с семьей перебрался в Дубовку и через некоторое время начал строительство нового дома. Строение было возведено в самом центре села, на возвышенности. Деревянный дом отапливался тремя каминами, сооруженными в нижнем этаже. В 1861 году помещик застраховал дом от пожаров и возможных разорений, опасаясь крестьянских волнений.
Облов был мелкопоместным дворянином, вел типичную для провинциальных дворян жизнь. Увлекался цветоводством и садоводством, развивал парниковое и тепличное хозяйство. По слухам, Иван Абрамович не был жестоким крепостником — позволял себе проявления демократизма в отношении к крестьянам, однако до конца своих дней оставался приверженцем именно помещичьего землевладения.
Облов занимался разведением скаковых лошадей, они были предметом гордости и забот русского барина. В селе было выстроено пять вместительных деревянно-каменных конюшен, украшенных резьбой. За деревней располагался ипподром, на котором ежедневно проводились выездки, тренировочные скачки и бега. До наших дней дошло имя жокея Ильи Андреевича Максимова. К слову, сегодня в селе эта фамилия — наиболее распространенная. Коневодство здесь было развито настолько, что после революции на базе графских конюшен организовался Дубовский конезавод, поставляющий рысаков для Красной Армии. Одна из конюшен просуществовала до 1988 года, когда была разрушена, поскольку не представляла уже ни материальной, ни исторической ценности.
После октябрьских событий 1917 года обитатели усадьбы тихо покинули ее, оставив в неприкосновенности все имущество. Здание оставалось необитаемым совсем недолго — после создания плодосовхоза здесь разместилась контора. Барский дом стремительно приходил в запустение.
С 1977 по 1983 годы здание капитально отремонтировано и полностью отреставрировано. Удалось сохранить камины, по старинным фотографиям восстановили деревянную резьбу. Сегодняшний внешний облик дома графа Облова полностью соответствует оригиналу. Сейчас в бывшем барском доме расположены библиотека, фельдшерско-акушерский пункт, большую часть здания занимает музей.
