精神疾患をいくつか抱えていて恋人と同棲しながらバイトで生活してるんだけど、職場で上司に襲われてしまった…

今は薬や治療のおかげで落ち着いてるけど、精神疾患をいくつか抱えていて、恋人と同棲しながら、アルバイトで生活しています。
その職場の上司が、妻子もいる身だけど、恋愛的に好きだと不倫のお誘いをしてきました。
そのとき、自分が将来のこととか、恋人との関係とかで悩んでいて、あからさまに拒絶したらシフト削られて自分が困ることになるんじゃないかとか、元々性格的に断ることが苦手で、きっぱり断れなくて、のらりくらり流していました。
2人で職場の人達にバレないように、待ち合わせとかして、退勤後にご飯行ったり、職場に戻って話をしたり、それくらいだったので、適当にかわし続けていたら、職場でやりたいと言われて襲われました。
嫌がることはしないとか言いつつも、上司だし、本社の人にも顔がきく人で、結構自分の思い通りに会社そのものを動かせる人だったから、そこでも拒絶できなくて、受け入れてしまいました。
このままじゃいけないと思い、まずは自分がしっかりしなきゃと、恋人と将来のこととか話し合って、今後の見通しを立てました。
時が経ち、また職場で上司からやらせてほしいと言われたけど、きちんと断りました。しつこく迫られたけど、頑張って断りました。
その少し前から、恋人と別れないことを伝えて、多くの矛盾する指導(例えば正社員になれるように頑張れと言いつつ、出る杭は打たれるから頑張るなとか……)をされて困惑していましたが、きっぱり断ってからは、更に
当たりが強くなったり、態度が冷たくなったり、正社員になるためにシフトを増やす話もなくなったりしました。
結構、精神的にきついです。
でも、ひとまず1年間頑張って、その間に次の職場を探そうかなと思っています。
吐き出せる場所がなかったので、助かりました。
ありがとうございました。