在阿尔伯特12岁的时候，他的父母离了婚，而他母亲就再也没有出现过。此时的阿尔伯特已经开始四处务工，他想要用打零工挣来的钱给兄弟姐妹们改善生活。犯罪心理学家认为，阿尔伯特的童年经历是他心理开始扭曲的主要原因，这种扭曲在最初还很微弱，但随着时间的流逝扭曲的程度变得越来越严重，而父亲在他面前嫖妓的行为使阿尔伯特在幼年期就产生了性滥交的心理倾向。
如何获得钱财是阿尔伯特所面临的难题，从小缺乏管教的阿尔伯特自然走向了获取金钱的“捷径”。1943年阿尔伯特首次触犯法律，他被警方以抢劫、殴打他人的罪名带进了警局，而阿尔伯特抢劫的对象是一名报童，抢劫的金额仅为两美元85美分。因为阿尔伯特年纪幼小，所抢财物也很少，法官并没有直接对他定罪，他判了阿尔伯特缓刑。
但就在刚刚宣判后不久，阿尔伯特又一次实施抢劫，这次他抢劫了邻居家价值24美元的珠宝，这次抢劫让他住进了莱曼男子工读学校（拘留所）。阿尔伯特在学校待了两年，他的成绩一直很优异，这意味着阿尔伯特有很高的智商。
获释后，阿尔伯特回到了位于切希尔东部的家里，但是生活在这里的邻居们再一次对阿尔伯特产生了负面影响。
据阿尔伯特的弟弟回忆，当时阿尔伯特居住的公寓楼顶有一张沙发，居住在这栋楼的一些居民经常会在这张沙发上嫖妓。犯罪心理专家们认为，阿尔伯特邻居的行为间接加重了阿尔伯特“性滥交”的症状，这一症状让阿尔伯特对性有了“特殊”认识。专家还发现，阿尔伯特在幼年时就已经十分残暴，这种残暴很可能来自于他父亲的“榜样”作用。