Музей был открыт в 1957 г. Начало собрания связано с именем оперного певца А. Н. Николаева (1836−1904 гг.), который в 1899 г. пожертвовал свои коллекции в Орловский губернский музей. Общее количество единиц хранения — более восьми тысяч.
Особо ценной частью собрания музея являются работы мастеров русского авангарда 1910-х — 1920-х годов Н. С. Гончаровой, М. В. Ле Дантю, П. П. Кончаловского, А. В. Лентулова, К. Г. Полякова, А. М. Родченко, Б. В. Эндера А.А. Моргунова.

Отдельную монографическую коллекцию составляют произведения уроженца Орловской области, народного художника СССР Андрея Ильича Курнакова, экспонируемые в двух филиалах музея Мемориальной мастерской мастера и Картинной галерее художника.