А где хранится лог iptvarchive?

Меня вообще не интересует лог IPTVArchive ... там смотреть , в Вашем случае, особо нечего ... меня интересует лог E2 в момент запуска архивной трансляции (в личку !!!) там все видно ...

Какие установки ставить в serviceapp?

НИКАКИЕ .. достаточно выбрать соответсвующий плеер, после установки serviceapp, в настройках прова в данном плагине .. Можно serviceapp вообще не ставить , а поставить отдельными ipk exteplayer3 и/или gstplayer .... в настройках прова, в части выбранного плеера, можно, конечно поиграться с настройками ... но то не критично