雨宿りしてる近所の親子に傘をあげたら、お裾分けで野菜をもらうようなったんだが、消費できずに困ってる…

近所のコンビニに行こうと思ったら急に雨が降り出し傘を差して出た。 
コンビニの帰りに軒下で雨宿りをしていると思われる親子をみかけ、ベビーカーはびしょ濡れ、 
小さい男の子は抱っこされてて顔も真っ赤で調子悪そうに見えたから俺の傘を貸した。 
安いビニール傘だったし、あげるつもりで渡したから
連絡先を聞かれても教えず小走りで帰った。 
後日たまたま会ってすぐ近所の人だと分かり、
その人の実家から大量に送られてくるという野菜を
ちょくちょくお裾分けでもらうようなったけど、正直消化できずに困ってる。 

という話を知り合いにすると、大抵決まって
『なに期待してるの？w』とか、
『人妻に手を出すなよ』とか言われるけど、
あの雨の日に子供を抱っこしていたのは父親なんだよな。
親子っていうとそういう先入観があるのか、俺の普段のイメージが悪いのか。
文字にすると父子って書けるけどこういう時は親子って言わない方がいいのかな。
わざわざ『お父さん』って言った方がいいのかね。
それと、相手の気に触らないような野菜の断り方を教えてください。