Можно удалить, можно оставить, проблем он не делает.
Откуда такие сведения, что KLite тормозит? Он не может тормозить, это кодеки, а не программа. Это всё равно, что сказать, что у вас тормозит DirectX или NetFramework :)