婚姻関係のないパートナーとの子供との生活が不安、、、

子供の教育観の違いで離婚を求められています。
しかし、そもそも先方には妻子があり、婚姻関係にはありません。

子供は2人います。認知はしてもらっています。
子供の教育のために仕事を辞めて子供と一緒に勉強をしろと言われてますが、彼は何かあるたびに「出ていけ！金は俺のだ！」と言うので、それでは婚姻関係もない私は不安で仕事を辞めることができません。

その話もしてますが「それは俺が信用できないからだ。俺の言うことを聞いて努力すればお前のことは捨てない」と言われてますが…何度も同じことを繰り返しているので不安です。
一緒になる際に購入した家は何があっても私に譲ると言ってくれてますが、どうなるか分かりません。

相手方に俺も弁護士を通すからお前も探せと言われています。
どうしたらいいでしょうか？
なお先方の弁護士は現在の奥様との離婚調停中の担当弁護士さんです。