Химики придумали новые операции сложения и умножения?
Нет. Химики понимают, для чего применимы существующие операции, и как правильно пользоваться ими, чтобы получить верные результаты.

Иногда химики употребляют в записи знаки, например ПЛЮС, - не в том значении, что математики.
Как обозначение того, что вещества вступили в химическую реакцию.
А не просто налиты в одну пробирку.

Т.е. когда химики пишут что-нибудь вроде 3О2, то они не обозначают этим три молекулы кислорода, каждая из которых состоит из двух атомов?

Обозначают. А в чем проблема ?
А дальше - они пишут "плюс что-то".
Могут написать, например
2Н2 + О2 -> 2Н2О.
Это уже запись химической реакции.
Не арифметическое сложение разных молекул.

При этом они знают о сохранении атомов (если только это - не ядерная реакция).
Поэтому число атомов каждого вида - одинаково на двух сторонах.
Они подсчитывают это число - пользуясь математикой.
Хоть в двоичной системе, хоть в десятичной.