Стабильно с сервером работают только 3 клиента, если включаю больше, сервер похоже не успевает отправлять ключи и картинка притормаживает.

Я сталкивался с подобной проблемой в связке 1 сервер и 5 клиентов, перепробовал кучу разных ресиверов (Globo X-403, X-7, GI-2138, GM-9060.... ) эта проблема наблюдалась у всех и не зависит от ПО, я так понимаю наверно проблема в железе, а может быть и ПО однотипно переписывают недорабатывая протокол  homecаmd. Но я всё же выход нашел поставил свич на 9 клиентов для СОМ порта и настроил шару по СОМ портам. Расшаривалась карта триколора 13 серии. работает всё на ура, клиент доволен.
А пару лет назад настраивал в гостинице шару на радугу, так там по LAN соединил 42 ресивера GI-2126 и сервак тоже GI-2126 и прекрасно справляется с раздачей. Вот и думай вроде такой дешовый GI-2126 (у нас он 1300 руб.) а работает стабильней чем GI-2138 который и HD и стоит раза в два дороже.