Как это лучше сделать?
У Вас либо возбудитель, и (или) усилитель, и (или) нагрузка имеют общую землю помимо коаксиала, либо коаксиал ацтойный.
Самый оптимальный вариант - вообще снять коаксиал со входа, собрав усилитель и возбудитель на одном шасси, либо же, укоротить входной коаксиал до самого минимума, и этот минимум должен быть не более 15 см.
Та же фигня у Вас, похоже, и с нагрузкой, когда общая земля подходит и к усилителю, и к нагрузке через землю осциллографа.
Тоже рекомендую укоротить кабель, хотя, по идее, если решите вопрос со входом, второй, скорее всего, не потребуется...
К слову, у себя спокойно проверяю при длине кабеля от генератора 1.5 метра, и такой же длине до нагрузки.