武藏一时难以拒绝，只好先跟着走。
“不，还是不去了，尽管会辜负你们的一片好意！”
这几位听武藏这么一说，赶紧说：“走吧，好不容易遇到我们这些同乡，我们还打算好好预祝你得胜归来呢！”
“你若不去，难免也辜负佐渡大人的一片热心肠。”
“你怎么还能拒绝呢？”
武藏的推辞似乎伤害到了他们的感情，特别是无二斋生前的莫逆之交内海孙兵卫丞，他瞪着武藏，似乎在说：“怎么能这样？”
“我绝不是有意辜负大家的好意。”
虽然恭敬道歉，可是光恭敬是没用的，几位不断地逼问武藏为什么，武藏只好解释道：“虽然街头巷尾的流言蜚语不值得放在心上，可是大家都说在这次比武上，细川家的二位家老，长冈佐渡大人和岩间角兵卫大人在支持谁的问题上站到了对立面上，藩内的家臣也分别聚集于这两股势力下形成了对峙的局面。拥护佐佐木小次郎的一方，越来越仗着君宠意气风发，长冈佐渡大人则在极力地排斥这股势力，培养自己的派系。这些不辨真假的事情在街头巷尾已经传开了。”
“嚯嚯……”
“街头的风传也许只是百姓的臆测。可是，众口悠悠，我一介武夫是没什么，参与藩政的长冈大人、岩间大人在百姓心中的形象会受此影响的。”
“啊，说的也是！”
老人家们大声应道：“所以你才忌讳进入家老的府中吗？”
“不，我刚才所说的算是一方面。”
武藏微笑着继续说道：“其实，真正的原因是我生来便是一粗野之人，自由自在行事惯了。”
“你的心思我们了解了。仔细想想，确实未必无火便不生烟。”
他们了解了武藏的心思。可是真的就此离别的话，又都觉得有些遗憾，最后几位聚在一起商议了一番后，木南加贺四郎站出来替大家说道：“其实每年的今天，也就是四月十一日，我们同乡六人都会来一场聚会，十年来从未间断。而你作为同乡，我们中又有人是你父亲无二斋先生的挚友，你来参加我们的聚会总没什么奇怪的。刚刚我们商量了一下，虽然也许会给你带来不便，但是请你参加我们的聚会吧。这和留宿家老的府中是两码事，不会招人非议的。”
顿了顿，木南加贺四郎又补充道：“我们原本打算若是你留在家老的府中的话，我们的聚会就向后延延，刚刚我们去家老的府中就是为了确认你在不在。既然你有意避免留宿那里，今晚就去我们那儿吧！”