Я к чему веду-то - сняв корректирующую цепочку, Вы, фактически, уберёте последний потенциальный источник шума (повторю - именно потенциальный), и никаких больше вариантов снижения шума не будет.
Если мешающий шум находится в низкочастотной части спектра (менее 300 Гц), можно попытаться снизить ёмкость конденсатора С3 - шум базы будет шунтироваться источником сигнала.
А в остальном, схема практически абсолютно оптимальна по шумам, и никакими танцами с бубнами Вы из неё больше не вытяните.
Повторю - вполне возможно, Вы перестарались с компрессией, у меня подобные схемы и на динамических микрофонах стояли (те же МД-200 с номинальным выходом 1 мВ), и НИКАКИХ проблем с шумами не было никогда.
Там можно немного снизить шум, уйдя на ток покоя порядка 200...300 мкА, но улучшение, насколько я помню шумовые картинки КТ3102Е, будет совсем незначительное.