1. Создать новую пару ключей (указать имя: например myhost. Имя файла указывается с полным путём к директории ~/.ssh/myhost)

$ ssh-keygen -t rsa -C "user@gmail.com"

2. Добавить созданный ключ в ssh-agent.

$ eval "$(ssh-agent -s)"
$ ssh-add ~/.ssh/myhost

3. Скопировать публичный ключ на хост.

$ ssh-copy-id -i ~/.ssh/myhost.pub username@hostname.com

4. Создать файл конфигурации для удобного соединения с хостом.

$ nano ~/.ssh/config

Содержимое файла:

Host myhost
  HostName hostname.com
  User username
  RSAAuthentication yes
  IdentityFile ~/.ssh/myhost

5. Профит! Можно коннектиться к хосту с помощью:

$ ssh myhost