O OpenSSH tem duas diretivas para bloquear o acesso de um (ou mais) usuários. Estas diretivas precisam ser colocadas no arquivo /etc/ssh/sshd_config.

Por usuário:

DenyUsers usuario1 usuario2 usuario3

Por grupo:

DenyGroups grupo1 grupo2 grupo3

Salve o arquivo, e reinicie o sshd

sudo service ssh restart