MacでDLしてきた鍵を使いSSHしようとするといつも怒られます。エックスサーバーでもEC2でもVPSでも同じです。

Permissions 0644 for ‘xxx.key’ are too open.
It is required that your private key files are NOT accessible by others.
This private key will be ignored.

秘密鍵は他のユーザーからアクセスできるような権限では使えないよ!ということらしいです。

そう考えると設定すべき権限は自ずと決まります。

$ chmod 600 xxx.key

これで問題なく鍵を使ってSSH接続できるようになります。