И не думаю что математика в RFSimm такая уж кривая.
На правой части скрина - 10-кристальный фильтр, посчитанный Дишалем, несложно заметить, что моя пресета выдаёт корректную АЧХ.
На левой части скрина - предложенный Вами вариант, данные сняты с Вашей схемы в RFSimm. Несложно заметить, что АЧХ рассыпалась - похоже, Вы перегрузили симулятор, и у него просто снесло крышу.
Я, повторю, с таким сталкивался, и уходил на Мультисим - там существенно менее дружественный интерфейс, но глюков не наблюдалось.
На всякий случай, перепроверьте мои цифры на левом скрине, я раз 10 смотрел, ошибок не нашёл.
Заподозрить же Маткад в кривизне вряд ли можно - ведь это весьма серьёзная платформа с точностью расчётов на 10 порядков выше, чем у RFSimm.
Конечно же, можно и меня заподозрить, что я кривую модель написал, но то тоже вряд ли, тем более, что Дишаль с нулевой неравномерностью отображён абсолютно корректно...