чудовищно

Что если n=3, q=x^2-y^2, векторы (n,n,1)?

Вектор (3,3,1)? :)

А форма x^2-y^2 в размерности 3 вырожденная.

Я имел в виду, что перевести, скажем, (m,m,1) в (n,n,1), m<>n, с помощью элемента группы вряд ли удастся, поэтому число орбит, скорее всего, бесконечно. Условие невырожденности формы я действительно не заметил.

q=x^2+y^2-z^2, q(a,a)=0 означает, что а - Пифагорова тройка. Для Пифагоровых троек условие проверяли?

Esli eto gde-to est', to dolzhno byt' v knige Margulisa pro reshetki. V ljubom sluchae Margulis, dumaju, znaet tochno.

Вроде бы, я умею доказывать в случае, когда индекс Витта квадратичной формы над Q равен 1. Идея в том, что каждый примитивный изотропный элемент a определяет невырожденную квадратичную форму с числом переменных на 2 меньше (отщепляем гиперболическую плоскость), и можно доказать, что если эти формы изометричны над Z для двух элементов a и a', то сами элементы лежат в одной орбите. Но над Q есть теорема Витта о сокращении, так что формы над Q изометричны, а известно (могу поискать ссылку) что у анизотропной квадратичной формы над Q есть только конечное число невырожденных Z-форм.

Вот ссылка:

Gross, Benedict H.(1-HRV)
Groups over $Z$.
Invent. Math. 124 (1996), no. 1-3, 263--279.

Каждая анизотропная прямая a (q(a,a)=0) определяет максимальную Борелевскую подгруппу в G(Q) (т.е. стабилизатор этой прямой над Q). Сопряженнные над Z анизотропные вектора (точнее - прямые) определяют сопряженные над Z максимальные Борелевские подгруппы. Каждый класс сопряженных над Z Борелевских подгрупп определяет касп в фактор-пространстве G(R)/G(Z). Число каспов конечно. Поэтому число орбит прямых (над Z) тоже конечно. Все это можно прочитать в книге Платонова и Рапинчука "Алгебраические группы и теория чисел", она есть в колхозе, или у Рагунатана (тоже в колхозе), или в книге Маргулиса, как я и предлагал.