他的亲生父亲便离家出走，离开了他和他的母亲。
当巴特勒长到13岁的时候，他的母亲竟然狠心地把他赶出了家门。并告诉他：“我不喜欢你的长相，你走吧。”
在接下来的日子里，他不得不在朋友家里面寄宿，每过几周就要换个地方。
直到巴特勒高中最后一年之前的那个夏天，他在一个夏季篮球联赛中结识了汤巴尔高中的校友乔丹-莱斯利，他俩在那次篮球联赛中成为了非常要好的朋友。
在得知巴特勒的家庭情况之后，莱斯利便建议他住到自己的家里来。
找到落脚点的巴特勒终于可以尽情展现他的篮球才华，在2006-07赛季，巴特勒场均19分加8个篮板，被评为汤巴尔高中当季最有价值球员。
吉米巴特勒借此进入了nba，所以从小他就知道，只有让自己变得更加的强大，才不会陷入被人嫌弃，过颠沛流离的生活！