一直都有传言说，他勾结了自己的女婿松平忠辉和其他一些幕府内部的人，想要在幕府之内制造动乱，虽然未必有直接的证据，但是幕府对他们的防范却十分严密，松平忠辉虽然是家康的儿子，但是幕府对他十分苛烈，在家康死后，他的哥哥、继承了将军大位的德川秀忠将他几次辗转流放，最后被幽禁到了信浓国的高岛城。