Esta casa-palacio data de finales del siglo XV, perteneciendo desde entonces a la familia de Jovellanos, cuando Juan García de Jove (1460-1525) construye el primer edificio. La casa sufre dos reformas, la primera en el siglo XVI y la última en 1758 por el padre de Jovellanos. Esta última es la que le da su aspecto actual. En la actualidad presenta dos torres a los lados con un edificio que las une; tiene anexa una capilla (Los Remedios, en dónde está enterrado) y por delante está la plaza que se denomina «Plaza de Jovellanos».

El día 27 de diciembre de 1983 fue declarado Monumento Histórico Artístico.

El museo abrió el 6 de agosto de 1971 y guarda la colección artística municipal que fue trasladada desde su antigua ubicación en el antiguo Instituto Jovellanos.

El principal objeto del museo es según su acta de fundación: «(...) en la ilustración de la sociedad a través de la historia y del arte, a partir de un método riguroso y científico que une a la sensibilidad del gusto por lo artístico objetivos concretos en documentación, investigación, conservación, educación y difusión de sus colecciones».

Por este motivo el museo no es sólo una colección de obras de arte, sino que también desarrolla otro tipo de obras, como son talleres didácticos, visitas guiadas, conciertos o conferencias. Además de estas actividades existe también una biblioteca especializada en el insigne ilustrado, siendo además la sede oficial del Foro Jovellanos.

Dentro del museo se pueden ver dos partes diferenciadas. Por una parte, las salas dedicadas a este insigne gijonés, en las que se muestra la obra y aspectos de la vida de Jovellanos. La primera representa una salita y la otra el dormitorio. En estas dos habitaciones se pueden encontrar objetos y enseres de la vida cotidiana pertenecientes a Jovellanos.

Por otra parte, las salas que muestran pinturas asturianas de los siglos XIX y XX, obras de escuelas europeas entre las que destacan la escuela flamenca y holandesa. En la planta baja del museo, se pueden encontrar obras de artistas asturianos pertenecientes al siglo XIX, como Dionisio Fierros Álvarez, Juan Martínez Abades, Ventura Álvarez Sala, Luis Menéndez Pidal, Nicanor Piñole, Mariano Moré y Evaristo Valle. En la primera planta encontramos a los pintores asturianos del siglo XX, como son Joaquín Vaquero Palacios, Alejandro Mieres, Adolfo Bartolomé, Aurelio Suárez, Orlando Pelayo o Antonio Suárez, entre otros. Se encuentra también en este piso la obra de escultores como Amador Rodríguez, César Montaña, Joaquín Rubio Camín, Luis Acosta, Francisco Fresno, Pelayo Ortega, Melquiades Álvarez, Ángel Guache, Bernardo Sanjurjo o Juan Gomila, por nombrar a los más destacados.