職場の男性に「棚の上の物を取って」と頼まれて脚立を渡された。私が脚立に登ると腰の辺りを支えてきて…

相談というか、判断して欲しいです。
職場の男性が手伝って欲しいと呼んできたので行ったら、棚の上の物を取ってと頼まれ脚立を渡されました。
自分でも取れるのでは？と思ったのですが、断るのも悪いと思って私が脚立に登って取りました。
そのときその部屋には私とその男性の二人だけでした。
取ってる最中、よろけてもいないのに、腰のあたりを支えてきました。
危なくないようにと親切のつもりだったのかもしれませんが、それなら最初から自分で取ればよかったのでは？
本当は触るのが目的だったのでは？と一瞬気持ち悪く思ってしまいました。
他の所は触られてません。
それ以来その人が苦手になってしまい、違ったら悪いとは思うのですが、それから何度か頼み事をされても理由をつけて断っていますが、私が自意識過剰なだけなのでしょうか。