แต่เมื่อเวลาผ่านไป ความรู้สึกเป็นมิตรต่อชาวโรมานีก็เริ่มจางหาย ชาวยุโรปเริ่มไม่พอใจที่ชาวโรมานีไม่สามารถปรับตัวเข้ากับวัฒนธรรมใหม่ๆ และมีการโทษว่าสิ่งไม่ดีต่างๆ เป็นฝีมือของชาวโรมานี ไม่ว่าจะเป็นการขอทาน การขโมย ลักพาตัว การค้าประเวณี หรือไสยศาสตร์มนต์ดำ ล้วนแต่โทษว่าเป็นฝีมือของชาวโรมานี