既婚男性と友達です

私は、仲のいい既婚者の男性と、よく２人で遊びに行っています。
彼とは、完全無料｜有料出会い系サイト比較ナビMJで知り合い仲良くなりました。
今度、飲みにでも行こうと誘われ、アドレスと番号を交換しました。
最初は、一緒に食事をするぐらいでしたが、
今では、映画を観に行ったり、遊園地に行ったり、水族館に行ったりも
しています。
彼は１０歳も年上で、奥さんも子供もいる人なので、
当たり前ですが、彼に対して恋愛感情はありません。
私にとって、お兄ちゃんのような存在です。
彼も、私を妹のように可愛がってくれているだけだと思います。
でも、私の友達に彼のことを話すと・・・
「ぜったい、下心があるよ。気を付けてね。」と言われました。
でも、いつも、そんな素振りは全くないし
普通に話して、遊んでるだけなんですけど・・・
周りから見れば、体の関係はなくても
私達は、不倫関係にあると見られてしまうのでしょうか？
奥さんが、私の存在を知っているのかは知りません。
知らなかったとして、バレた時のこと考えると、ちょっとコワイです。
やましいことは何もないんですけど。
彼といると楽しいし、１０歳も年上なので
いろいろなことを知っていて、教えてくれるので勉強になるし。
本当にいい出会い系の友達だと思っています。
なので、できれば、ずっと友達関係でいたいんです。
でも、既婚男性と２人で遊びに行くのは、やっぱり良くないでしょうか？