小杨有一堆糖果，他首先给小李7个糖果，然后从小赵那里拿了3个糖果。接着，他将糖果平分给小李和小赵，每人可分4个糖果，所以他一开始有12个糖果。