Наверно так. Но в физике используется и математическое пространство, и всякие там континуумы и оси относятся не к некой среде (среда это в любом случае какое-то поле или вещество, материя), а к способу организации, к структуре. Ну вот когда меряли сумму углов треугольника, образованного звёздами, чтобы посмотреть, чему она равна, тогда исследовали свойства пространства в математическом смысле.

В теории Эйнштейна "пространство-время" - это некая математическая структура, описывающая взаимосвязь событий во Вселенной. Там есть свои законы (типа "квадрат гипотенузы равен разности квадратов катетов"), которые удобно описывают наблюдаемые физические явления (постоянство скорости света и т.п.). Про всякие теории струн и высших размерностей ещё можно вспомнить.