据说巴特勒自己也不知道自己的父亲是谁,也有说是乔丹的私生子。
巴特勒出生于休斯顿郊区的一个名叫汤巴尔的地方,当他还在襁褓中的时候,他的亲生父亲便离家出走,离开了他和他的母亲。但这并不是巴特勒悲惨童年的终点,到巴特勒长到13岁的时候,他的母亲竟然狠心地把他赶出了家门。据巴特勒在2011年的一次采访中回忆,“我不喜欢你的长相,你走吧。”这是吉米-巴特勒的妈妈在抛弃他之前说的最后一句话。就这样,年少的巴特勒成为一个彻底的流浪儿。自从13岁被赶出位于德克萨斯州Tomball的家,巴特勒竭尽所能的想要生存下去。他住在朋友家,直到不好意思再待下去,通常每过几周,他就要另觅住处,只要晚上能有一片瓦遮头,他就很满足了。