Если это папка от стационарной версии, то она не влияет на портабле. В папке Кэш находится то, что вы сами подгрузили.
А вообще в программе установленные с ней встроенные стили удалить нельзя. Их можно только скрыть.