申し訳ないですが、文面だけで見る限り別れた方がいいと思います。
確かに会社をやっていくのは非常に大変だろうし、運転資金の調達も苦労されると思います。しかし、婚姻関係でもない異性に借金を平気で出来る人は私は信じられないですね。(文面からは返そうという意思も見受けられないし。)
その状態で、別れを切り出したあなたに、彼が”お前がおかしい。”というのは男の私でもまるっきり理解できません。
言うとしたら”お前の気持ちは分かる。苦労をかけて済まないが、今後は(具体的にこのような見通し)だから、もうしばらく力になってくれ。”じゃないでしょうか!?
それにあなたに愛情があまりないように感じますが、仮に結婚して今みたいな経済状態だったら辛いですよ。
好きな二人が結婚しても経済的に大変であれば喧嘩をしてしまうこともありますから、長続きはしないと思います。(私は既婚者です。)
ただ彼の外食に関しては、自分の会社を持っているということなので、必ずしも女性と行っているとは限らず、お客さんとの食事ということも結構あると思いますよ。
あなたは彼にその話をした(女性と行っているのでは?!と)時に、あなたに何も説明しないのであれば女性と一緒の可能性が高いとは思いますが。