まあ、ここはお約束の設定で対処しよう。
/etc/ssh/sshd_config の UseDNS はデフォルトが yes になっている。
これはIP アドレスからリモートホスト名を逆引き検索して得た名前を正引きして、同じ IP アドレスになるかどうか確認する処理なので、接続が遅い場合はこれが原因になっていることが多い。
これを no に設定した。
UseDNS no
設定を変えた後は SSHデーモンを再起動しよう。
# service sshd restart
UseDNS no
# service sshd restart