Можно и обычной ГОИ, но ремень должен быть хорошо натянут. В древности, для цирюльников специальная машинка из ремня на роликах существовала - может где и сейчас можно найти.
Кстати, если втереть небольшое количество мелкой алмазной пасты на внутреннюю поверхность ремня со стороны спины, а потом тряпочкой смоченной растворителем аккуратно удалить мазь, оставив только аббразив, то в дальнейшем на таком ремне можно быстро и эффективно поправлять рабочую кромку ножа, бритвы и т.п. в полевых условиях.