Игорь, у вас же платка готовая. Попробуйте выкинуть кварц и вместо него подайте с генератора нормальный чистый сигнал.
А его и выкидывать не нужно - с 50-омного генератора можно через 0.1 мкФ прямо на XA сигнал подавать, кварц не помешает.
По крайней мере, насколько помню, до 100 МГц это проходило, у Вас в программе всё работало корректно, и никаких чудес не было.
К сожалению, с помощью Вашей программы, работа которой меня, кстати, более чем удовлетворяет, я не могу менять коэффициент делителя в петле ФАПЧ, чтобы наглядно показать нашему болгарскому коллеге, что написанное в Интернете, не всегда является истиной в последней инстанции, и что законы физики и математику пока что, не отменили...
Для работы это и не нужно, чисто для рассеяния иллюзий.