Не может ли здесь таиться корень зла в виде потерь на КФ?
Вариантов проверить масса. К примеру, делаете два транса с отводом посередине, это будут два перехода 50 в 200 Ом. Соединяете последовательно, смотрите затухание по 50-омному тракту. Получаете, к примеру, 1 дБ. Значит, в каждом трансе по 0.5 дБ. Запоминаете эту цифру. Подключаете один транс на 200 - омный выход диплексера, получив 50-омный выход, и вычисляете потери в своём диплексере-согласователе, вычитая из общих потерь потери в трансе.
Ещё вариант - измеряете добротность своих катушек, вставляете в мою пресету (см. выше), и смотрите потери.
К слову, именно так я и делал - см. скрин выше, при известных добротностях катушек (Q1=50, Q2=66), КПД=0.838, т. е., потери 0.77 дБ.
Надеюсь, конденсаторы Вы поставили не убитые...