Почему братья Иосифа считали, что это им наказание?

Они верили, что это наказание за их вину перед их братом.