Вообще-то, это смотря с какой стороны посмотреть. С точки зрения перевода слова с греческого - да. Но, как правило, этот термин рассматривают либо с медицинской точки зрения, (как сексуальное расстройство, выраженное во влечении к детям), либо с общепринятой, (как сексуальные преступления против детей).
И не надо тут наводить тень на плетень. Мы говорим о педофилии именно в смысле действий сексуального характера по отношению к несовершеннолетним. Именно это преследуется по закону и осуждается обществом.

Раз уж вы пытаетесь выкрутиться, играя словами, спрошу ещё более конкретно: считаете ли вы допустимыми хоть в какой-то мере действия сексуального характера в отношении лиц не достигших половой зрелости?