при включенном VPN скорость падает
Это естественно.
Даже на лучших платных VPN скорость падает раза в три и больше (зависит от месторасположения). Например, при обычной скорости без VPN ~100 Мбит/сек, с VPN скорость падает до ~30 Мбит/сек и меньше.
Но, скорее всего, Вы говорите не про VPN, а про PROXY.