"Трогать" можно по-разному. Беда в том, что даже оставаясь формально в рамках, со стороны это "трогание" все-равно видно. Иногда лучше сказать в лицо друг другу "сам дурак" и на этом разойтись, чем вот так вот доставать человека, который и без тебя на взводе. Некрасиво, тем более с женщиной.