Полное отключение запроса пароля к ssh ключу небезопасно, поэтому оптимально, когда нам нужно ввести пароль 1 раз и каждый раз после включения компьютера. Для этого требуется следующее ввести в терминале

echo 'eval $(ssh-agent)' >> ~/.bash_profile

UPD

Недавно нашел еще вот такой способ:

http://iamsimakov.ucoz.com/publ/linux/disable_asking_ssh_key_passphrase/3-1-0-47

У меня сработало на AltLinux с оболочкой LXQt. 

Кстати, например на оболочке cinnamon, по умолчанию ставится ssh agent и требует пароля 1 раз при первом обращении к ssh ключу. А также в cinnamon ssh менеджере есть возможность запоминания пароля навсегда. Опять же это - не безопасно. В случае с рабочим ПК, это вариант как сэкономить время, а вот в случае же с домашним ПК я бы посоветовал оставить вариант с вводом пароля при первом обращении к ключу.