他恨“索善人”，因此也就连带不满自己师叔和索家来往。他当然不愿去找丁剑鸣。
但娄无畏到底是愤愤不平，对伤心身世，无日或忘。他把一腔愤怒，满怀抑郁，都发泄在对满清的统治者，和帮助满清统治的官吏上，因为他认为满清的统治是树根，“索善人”等不过是凭借大树的藤蔓。
这样在娄无畏出了师门之后不久，就给江湖上一个秘密团体拉了去。这个秘密团体叫做“匕首会”，专门以最激烈的手段，暗杀贪官污吏。以前在太平天国起义时，“匕首会”也曾是影响过太平天国的外围组织，也曾在太平军围攻上海时，举行过暴动，后来太平天国失败了，“匕首会”人物就给搜捕得不能露出面来，成了“黑字号”的人。可是“匕首会”仍然是坚持着暗杀的手段。京戏里“铁公鸡”所演的“汉祥刺马”——张汉祥刺山东马巡抚的故事，张汉祥就是“匕首会”中的人，后来在四川做盐袅，最后又以匕首去刺杀了仇人的。
娄无畏满心以为凭着自己一身功夫，总可以杀一两个贪官污吏出出气，甚或可以达到令“胡虏”寒心，激发起民众反抗满清的目的。
谁知事与愿违，用激烈的暗杀手段，非但不能成功，反而越弄越糟了！那些旧小说中，侠客夜入抚衙，取贪官污吏首级于不知不觉之中的描写毕竟只是“小说家言”，事实可并没有那么容易！越是贪官污吏，他们就越发警戒得严密，有弓箭手，有当时初从外洋买来的火器，虽然那些火器远不及现在的枪械，可也不是血肉之躯所能抵挡。加以贪官污吏的府第官衙，又都是“曲径幽深”，“重堡垒户”，就算你有“飞行绝迹”的功夫，也不容易找到“正点”（目的物）；何况轻功最厉害的人，也不能到“飞行绝迹”的地步！如果等贪官污吏出巡时来实行暗杀，在白日青天之下，警戒森严之中，要下手是非常非常之难的一回事。
但也不能说，暗杀完全不会成功，偶而也有趁着适当的机会，刺杀到一个贪官污吏的事。可是那结果却只有更糟！譬如娄无畏吧，他参加了几次暗杀都没有成功，反几乎都丢了性命。这且不说，有一次他和几个同党在闹市之中，侥幸刺杀了一个知府，但也赔了两个同党的性命。娄无畏仗着武功精纯，人又机警，逃是逃得脱了，可是就在他私庆生还，手刃贪官的时候，消息传来，令他捶胸痛哭，痛不欲生！
你道他为什么这样痛苦？原来就在知府被刺杀后的第二天，官府便立刻大搜疑犯，正式的匕首党人，当然早已闻风远避，可是他害苦了老百姓！无辜被捕的竟达百多人。而且不到三大，新知府又放来了，新知府可比旧知府还要毒辣，被捕的“嫌疑犯”，许多被无辜地处决了，统治的手段来得更严密厉害了。暗杀的结果，并没有给民众带来好处，反而给民众带来了更深的苦难！暗杀的结果，只是鲜血加上了鲜血！
而且从此，娄无畏们给追捕得更紧了，官府之中，也有的是武林叛节之徒，精通技击之士。好汉斗不过人多，以一个秘密会党之力，如何斗得过整个满清的统治。弄至后来，娄无畏等亡命江湖，席不暇暖，又要转移住处。终日凄凄惶惶，提心吊胆。娄无畏健硕的身躯，也渐渐消瘦了。
有一天晚上，娄无畏已远避至热河西北，就住宿在燕山山脚的一家小户人家，（那人家也是“匕首会”中一个不出面，专做窝藏人犯的小党羽）晚间听燕山的野兽嘶鸣，松涛过耳。不觉绕室而行，思潮起伏，不是“为谁风露立中宵”，而是想着自己的身世和今后的出处，想着，想着，不觉对“匕首会”所采的暗杀手段起了怀疑，但又不知道除了暗杀还能采取什么手段？这样，思想打了一个一个的结，苦闷加上苦闷，正在枯惶无计之琢，猛所得有人轻敲窗户之声。娄无畏急地一跃而起，正待穿出窗户，忽听得窗外有一个苍劲低沉的声音道：“红花绿叶是一家。”
娄无畏怔了一怔，便即接声问道：“什么时候结的果？什么时候开的花？”那苍劲声音又悠然而起：“八月十五结的果，正月十五开的花。红花绿叶相辉睐，志士仁人是一家！”娄无畏将手一拍，哈哈一笑，只见一个白须老者，跳入室来，刚才那几句问答，便是“匕首会’中人相认的切口（暗语）。
娄无畏定睛注视那个老者，只见他身上只穿着一件蓝布大褂，还披襟迎风。其时已是初冬十月，北方皆寒，看他一把苍白的胡子，怕不有六旬以上年纪？还能这样耐冷，其人必有精纯功夫。可是娄无畏左思右想，却总想不起“匕首会”中有这样一个老前辈，而且连听也未听人说过。
那白须老者看娄无畏呆呆的神情，微笑问道：“你是‘复’字辈？”娄无畏垂手答道：“正是‘复’字辈。敢问前辈如何知道？”那老者笑道：“你不知道我，我却知道你。你可知道‘匕首会’中当年开山的三老之中，有一个叫做云中奇的？”
娄无畏微微一震道：“莫非你老就是云中奇老前辈？”原来“匕首会”中以“金鸥复固，汉族重光”八字，排列班辈。云中奇是“金”字辈的人，据说当年因暗杀了一个贝勒（皇家子弟），被四处搜捕，曾一晚之中，连斗四个清宫卫士，而且杀了其中三人，之后就飘然远行，不知踪迹，会中传说纷纭，大多数认定他不知流落何方死了。想不到今晚却在此露面。
当下娄无畏再重新施礼，然后请问来意，才知云中奇的确是冲着自己来的。云中奇说，他当年被清廷搜捕，偶因机缘，认识了一位关外的朋友，跟他逃亡到了辽东。那位朋友是个奇人，他一见面就不赞成“匕首会”的暗杀做法，云中奇和他谈了一天一晚，为他折眼，不禁嗒然而废，因此就索性再不回到“匕首会”来。可是他和那位朋友，并不是“无所为”的，他们还有雄心，还待伺机而起。这几年来，他听说“匕首会”又有一位少年俊杰，而且是太极名家的嫡传弟子，武功甚为了得，气度也很不平凡，在“匕首会”中担当了好几次危险的任务。他听了心中很不以为然，觉得“匕首会”这样做法，很可能牺牲一个杰出的少年。后来又听得娄无畏也因暗杀失败，而被搜捕，走上自己的老路，到处逃亡，心中更是可惜，因此便立心来找他，叫他也到关外去。
娄无畏听了，半晌沉吟不语，忽然抬起头来，眼睛闪闪生光，问云中奇道：“老前辈也可能将那位‘奇人’的话说给弟子听听吗？不用暗杀，又该用什么呢？”
云中奇又哈哈笑道：“我知道老弟必然有此一问，也该有此一问！”于是云中奇叠着手指，对娄无畏说出当年那位奇人对他所说的那一番话……
云中奇道：“我见着他的时候，是在小兴安岭之中，他教我看了一幕奇景：小蚂蚁和大白狼打架。”娄无畏不禁奇异地问道：“蚂蚁怎能和白狼打架？”
云中奇笑道：“就是！如果不是我亲眼看到，我也不相信。那天只见小兴安岭中，满山都是黑蚂蚁，有几只大白狼，大约是离群走散的，大约是走得疲倦了，就随便在林荫之下稍作休憨，哪料到就只是一会儿工夫，便给蚂蚁群包围起来，黑压压的一大片，又像黑色的波涛一样，直把那几只狼都淹没了。那几只狼给咬得满地打滚，蚂蚁固然死了不少。那几只狼可也逃不了，‘黑色的波涛’如影随形，直卷过去，不过片刻，就只见黑色的土地上只剩下一大堆白色的狼骨头。”
类无畏吐吐舌头道：“小蚂蚁也这样厉害？”
云中奇道：“就是！幸亏那天，我们是在蚁阵之外，在离开它们‘打斗’之处很远的一棵大树上观看，但饶是这样，可比‘隔山观虎斗’，还要触目惊心！”
云中奇歇了一歇又说：“我的朋友教我看了这幕奇景后就道：‘一只蚂蚁只消一只指头，稍微用一点力就可捺死。但一大群蚂蚁，可就有这么大的威胁，蚂蚁合群起来，已有这么厉害，何况万物之灵的人？’”
云中奇说到这里，便直点题目，答复娄无畏刚才的问话：“老弟，就是这样，那位奇人对我说：凭几个人的武功本领，就算你有天大的本事，也不能推翻一个根深蒂固的皇朝。用暗杀吗？杀了一个贪官，还有无数贪官，何况未必暗杀得着。试看历史上，哪一件轰轰烈烈的事，不是一大群人才能干得出来的？远的不说，近的如明末李闯王的起义，以及我年轻时候还经过的太平大国起义，一大群农民也就像‘黑色的波涛’一样淹没了大地。他们虽因犯了错误，不能成功，但到底是摇动了帝皇统治的根基。这岂不比我们要东躲西闪地实行暗杀来得强。”
娄无畏听了，沉吟半响不语，眼睛凝望夜空，就好像思索一件难于解决的问题。思索了好久好久，他忽然直视云中奇道：“那么你是教我脱离‘匕首会’了！”
云中奇捻捻苍白的胡子道：“老弟，我的意思就正是这样！”他满以为娄无畏听了他的话，会改变主张了。
谁知并不如此。原来娄无畏在亡命的生涯中，早已对什么人，什么事都有了戒心。他心想，云中奇虽然是“匕首会”的开山三老之一，但他到底是离开“匕首会”这么多年了，谁知他在干什么？他如果觉得“匕首会”做法不对，为什么这些年来，他又不向“匕首会”提出？这是一。其次关外正是满清统治者的巢穴，如果是在关内存身不易，又怎能在关外存身？他想想，反而怀疑云中奇可能已与“胡虏”联结起来，哄骗自己了，谁知他所想的，却想歪了。
他恨“索善人”，因此也就连带不满自己师叔和索家来往。他当然不愿去找丁剑鸣。