Если нет в системе nvEncodeAPI64.dll для 64-бит или nvEncodeAPI.dll для 32-бит, то и не будет возможности вывода.
Драйвер на GTX 1080 какой стоит?