Достаточно ли просто удалить его из папки

в некоторых случаях да, но в Установке пакетов у вас его не будет, потому как у плагов бывает куча зависимостей, иногда либки и бинари, папку вы удалите, но в файле status запись останется, грубо говоря, если вы после будете ставить ту же версию плага или версию ниже, бывает и такое, то у вас вылетит табличка, что плаг уже установлен, не даром говорят, лучше ставить пакетом как есть, с пульта или терминала, а закидывать папки или удалять ни есть гуд, это только для профиков, которые знают что к чему и какие зависимости нужны