如果他真的是个家世不明之人，多数会跟大部分那个时代的人一样，被罩着自己的大家族以养子女婿之类的名义收入其中。

也就是说，如果他没有一定家庭背景，他应该姓贺茂。贺茂家族不会让他独立出去，放过这么好的人才；

而凭借极好的靠山他也能更进一步，省却许多磕磕碰碰的烦恼。

所以他的身世其实非常确定，是当时的大膳大夫官之下级贵族安倍益材之子。

他的母亲，多数就是平民，没有资格被记载于历史记录之上，之后他在阴阳术之上的造诣惊人，此天赋明显来自母系，因而最后他被传做‘白狐之子’。

从安倍益材这里往上追溯，由谱系上来看与一名叫阿倍仲麻吕的人有亲缘关系。

具体是从阿倍大麻吕这一辈开始的下一辈，共有两子有资格登记入族谱，分别为鸟子跟目，从这两个人又分支出的家系，传承许多代后其中鸟子的后裔第十一代是安倍益材，而目的后裔第三代为阿倍仲麻吕。

阿倍仲麻吕是个在历史上也留下笔墨的人，他是奈良时代的遣唐留学生，到了洛阳之后太过喜欢中国，改名晁衡留在大唐。

在西安甚至还有他的纪念碑，是1978年西安市跟奈良县商议之后各自立碑纪念。

在那个时代，岛国文化还远远不如唐国，所以像仲麻吕这样的留学生的主要任务就是引进对他们来先进的文化，尤其诗歌、历法、古典文籍等等，他甚至跟李白是很好的朋友，在他归国的时候有传闻他在海上遇难，李白甚至垂泪为他作诗。在仲麻吕归国之后看到诗篇感动不已，写诗抒发对故友的思念。