一つのヒント
認証エージェント(ssh-agent)が起動してない
$ ssh-agent
エージェントが起動してるかどうか
認証エージェントに秘密鍵が登録されてない
$ ssh-add -l
The agent has no identities.
$ ssh-add <秘密鍵>
だいぶ前に登録してたけど、Macを再起動したらエージェントの秘密鍵がなくなってしまってたことにしばらく気づかなく、パーミッションを疑ってた(たいていの場合はパーミッションが問題になることのほうが多いだろう)。keychainを使ってssh-agentを管理すればよい。