Музей занимает большую часть комплекса городской усадьбы Билибиных-Чистоклетовых, главное здание — выдающийся памятник архитектуры начала XIX в., который является объектом культурного наследия федерального значения.
В настоящее время музей хранит более 11 тысяч произведений живописи, графики, скульптуры и декоративно-прикладного искусства.

Древнерусское художественное наследие, представленное в Калужском музее изобразительных искусств, включает произведения иконописи, деревянной культовой скульптуры и предметы прикладного искусства XVI — XIX вв.
Живописная коллекция XIX в. во всем ее жанровом многообразии отражает историю искусства эпохи.