В это время сложился колоритный архитектурный облик города, который во многом сохранился даже до нашего времени. Сам город был разделен на девять слобод — Стрелецкую, Разночинскую, Подгорную, Малороссийскую, Старческую, Сторожевую, Пушкарскую, Покровскую и Ямскую. Козлов развивался очень быстро. В реформу 1861 г. здесь насчитывалось почти 28 тыс. жителей, но характерно, что треть из них оставалась в крестьянском сословии. Предусмотрительное и обстоятельное купечество Козлова в своих сделках достигло оборота близкого к 4 млн. рублей. К тому же в 1870 г. вступила в эксплуатацию железная дорога Козлов — Саратов, связавшая Москву с Поволжьем. Здесь она соединилась с Юго-Восточной железной дорогой (Козлов — Ростов). Крупнейшим предприятием города стали железнодорожные мастерские. Город был застроен в основном деревянными домами, возвышавшимися на правом берегу реки Лесной Воронеж, которая, сливаясь немного ниже с Польным Воронежем, образовывала реку Воронеж.