精神的に辛い。子供も4歳でどうしようか悩んでいます。

主人が無職です。勤めていたところでパワハラを受け、適応障害になりました。二回ほど救急車で運ばれたり、入院もありました。そういったことから、退職したのですが、中々働いてくれません。
退職したのは今年の五月で、体調を崩してから昨年の末からは残業もなく給料は激減しました。
私はパートをしてますが、微々たる金額です。生活費が足りず、借金もしてます。
義実家から助けてもらってもいますが、等の本人は職探しはしてくれますが、働いても十日程度でまた退職してしまいました。
病気なのは分かりますが、そういって家事も育児もしてくれません。私がすべてやり、疲れたと言ったら、こっちも疲れるから、言わないでと言われました。暴力はないのですが、こちらが思ってることを言うと逆ギレして大きな声で威嚇されたりはします。
このままでは離婚だよと言ってますが、探しても仕事が決まらないのだから仕方ない。と言います。大切なことも相談してくれず、私も精神的に病んでるのですが、それが酷くなってしまいました。子どももまだ四歳と小さく、離婚はどうしようかと悩んでも居ます。こんな状況で離婚は出来るのでしょうか？