本题考查的是幼儿的权利。《中华人民共和国义务教育法》第四条规定，凡具有中华人民共和国国籍的适龄儿童、少年，不分性别、民族、种族、家庭财产状况、宗教信仰等，依法享有平等接受义务教育的权利，并履行接受义务教育的义务。第二十七条规定，对违反学校管理制度的学生，学校应当予以批评教育，不得开除。随意开除学生侵犯了学生的受教育权。该幼儿园的做法侵犯了小刚的受教育权，是错误的。综上所述，C项正确。

A项，说法错误，幼儿园的确是应把幼儿安全为第一位，但也不应因此劝退幼儿，应当帮助小刚改变不良习惯，故排除。

B项，说法错误，幼儿园不能为了满足家长的需求就随意开除幼儿，故排除。

D项，说法错误，小刚的监护人依法应承担赔偿责任，但幼儿园无权劝退幼儿，故排除。

因此，本题正确答案为C。