有200名学生的小学。

所以参与人数是104。

200-104=96(人)

答:这个学校有96名五年级学生没有参加这次数学竞赛。