キングの話を聞いたカイドウがその後ジョイボーイになろうとしたのであればジョイボーイになれなかったのは自分自身だということになる。
しかしカイドウは今これから世界を変えようとしているのでジョイボーイにはなれないとすでに"諦めている"のは妙な話である。
なのでこれは妥当にロジャーの事を指していると思う。
ロジャー海賊団はラフテルに辿りつくのが"急ぎすぎた"らしいのでロジャーはジョイボーイになれなかったのだろう。
そのような裏話が四皇であるカイドウの耳に届く可能性は高いと思うのでキングから聞いた話と合わせてロジャー=ジョイボーイ候補(だった)と判断したのかもしれない。
今世界中で事件が起きているらしいので真相が明らかになる日はそう遠くないだろう。