才三岁时，父母已先后病亡，他成了孤儿。于是大哥和二哥便每人分管两个年幼的弟弟们。他被分给二哥抚养。不料想，这成了他一段生活噩梦的开始。

二哥二嫂吸鸦片，家境破败，开着一个榨甘蔗的作坊和小卖店勉强度日。为了省钱，他们逼着只有几岁的五弟幺弟（“幺”是四川话最小的意思）帮工干活。没钱买不起鞋，他们只能光着脚挑着担子走在石板路上。冬天石板凉，跑一会脚就不冷了。但夏天可就难过了！太阳把石板烤得滚烫，脚板根本不能久留在石板上。他挑着担子，再沉也不能慢走，只能快跑才不觉得烫。活没干好时还经常挨他二哥二嫂的棍棒打骂。

甘惜分在初中时期

五哥为了保护弟弟，在出门挑担时常常在没人看到时就分走一些货品，以减轻弟弟挑担的重量，临到家前再把货物均匀回来。就这样度过了三年难熬的日子，年幼的甘遐飞挨了不少打骂，受了不少罪。由于风吹日晒且常吃不饱，他成年以后仍然是比较消瘦。谁知道呢！这个体型也许对他后来的长寿起了作用。

大哥因为有文化，后来当上了私塾先生，家庭状况开始好转。他听说两个弟弟每天被逼着干活，还常挨打受骂，于是特意上门来查证。一看果然属实，于是决定把本由老二抚养两个弟弟们一并带走，一人承担抚养弟弟们的义务。六岁的甘遐飞与五哥一起乘坐一条小船，沿着河缓缓地向大哥家所在的丰禾镇驰去。他此时尚不知道，从今以后他的生活会发生天翻地覆般的变化！

作为教师，大哥深知文化的重要性，于是让弟弟们每天在私塾与其他学生一起上课。私塾的教学，基本上是逼着学生背古文、写大字。从《三字经》、《百家姓》开始背诵，每天还要写很多篇“红字贴”。私塾的教学规则很简单：背诵不出错，或者哪个字写得好，就会受称赞。背错了文章，或者哪个字没写好，就要用戒尺打手心。就这样，在称赞声与打手心的竹板声中，他的古文根基和书法基础就此打下。

有一次读到晋朝人陶侃的格言“古人寸阴，吾人当惜分阴”，他有所领悟，决定改自己的名字。我们后来熟知的“甘惜分”就此出现。

几年后，大哥就职县政府小科员，举家迁往邻水县城。甘惜分随之搬到县城，进入县立小学读书。一个农村的孩子接受到了西方式初级教育，开始接触到现代社会。

小学毕业后，甘惜分在大哥的赞助下进入邻水县立初级中学读书。他在校内很活跃，除了努力学习之外，尤其喜爱音乐、美术课。网球、乒乓球、篮球等等，他都参加；吹拉弹唱，样样都想学。

1932年他从初中毕业后，大哥再无力继续供他升高中，于是甘惜分只得放弃了学业，到乡村小学教书。才十六七岁，就自食其力，步入了社会。