Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет ivanov_petrov ([info]ivanov_petrov)
@ 2009-08-18 22:18:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Импакт-фактор как объективная мера
http://mi-b.livejournal.com/179864.html
(Предуведомление: инфу не проверял)
http://www2.maidan.org.ua/news/index.php3?bn=maidan_osvita&key=1249409309&action=view

"Хотел бы в отдельной теме откомментировать интересный пост http://www2.maidan.org.ua/n/osvita/1249328313

Там упоминают забавных кадров типа El Naschie и Ji-Huan He.
El Naschie уже здесь обсуждали http://www2.maidan.org.ua/n/osvita/1234303282 , а вот Ji-Huan He – это случай ещё интереснее и поучительнее.

Professor Ji-Huan He has been named a Rising Star in the field of Computer Science in 2008:
http://sciencewatch.com/inter/aut/2008/08-apr/08aprHe/
http://sciencewatch.com/dr/nhp/2008/08julnhp/08julnhpHe/

Он есть творцом некоего "variational iteration method". Вот посмотрите, что творится
http://scholar.google.com/scholar?q=he+%22variational+iteration+method%22&num=100

а в этом году его последователи уже 300 статей спродуцировали
http://scholar.google.com/scholar?as_q=&num=100&btnG=Search+Scholar&as_epq=variational+iteration+method&as_ylo=2009

Т.е. как работает система? Есть 5-6 журналов (в основном эльзевировских)

Applied Mathematics and Computation,
Communications in Nonlinear Science and Numerical Simulation
Computer Methods in Applied Mechanics and Engineering
Computers & Mathematics with Applications
Chaos, Solitons & Fractals
International Journal of Computer Mathematics

куда эти шустрые ребята (преимущественно арабы и китайцы, которым платят за импактовые публикации, что и есть основной первопричиной этого забавно-печального явления) сливают свой научный кал совершенно его не фильтруя (т.е рецензирование там близкое к нулю), при этом обильно цитируя себя и своих друзей. Поскольку загаживают они эти несколько журналов равномерно, то и процент самоцитирований в смысле журнала выходит недостаточно большим, чтоб прикрыть их, как это сделали с Прикладной механикой Гузя.

При этом все счастливы: эти шулера (им платят за статьи + почёт и слава), их страны (правительства и граждане свято верят, что у них развивается наука, т.к. растут количества статей и цитирований), Elsevier (у его журналов повышается импакт плюс идёт захват быстрорастущих китайского и арабского научных рынков), и даже ISI счастлив, судя по восторженным статьям о Rising Star по ссылке выше (впрочем, ISI и El Naschie тоже очень ценит:
http://www.esi-topics.com/nhp/2006/september-06-MohamedElNaschie.html
http://www.esi-topics.com/erf/2004/october04-MohamedElNaschie.html ).

И что интересно: казалось бы, плохое рецензирование должно негативно влиять на импакт. Ан нет, всё оказывается наоборот!

Умный человек (в математике, по крайней мере) думает долго на каждой статьёй, пишет по 1-2 статьи в год, при этом сам себя лишний раз не цитирует, только тогда, когда надо. И чем строже в журнале рецензируют, тем всё больше статистически как раз на таких авторов и ориентируются.
Поскольку статья глубокая и непростая для понимания, то цитировать статью эту начинают 2-3 года спустя, т.е. в импакт эти цитирования попадать успевают в очень небольшом количестве.

А эти халявщики типа El Naschie и Ji-Huan He и их последователей плодят сотни пустых статеек в год, и цитируют себя и друзей по 20 раз в каждой статье, - тем самым нагоняют импакт-фактор тем журналам, где публикуются.

А поскольку процент слабых журналов в ISI становится с каждым годом всё больше, то у этих журналов уже есть свой слой слабых авторов с хроническим публикационным поносом, которые и нагоняют им импакты самоцитированиями. Притом с каждым годом этот слой авторов ширится, количество таких журналов растёт (а значит, процент самоцитирований в смысле журнала они удерживают допустимый), а как следствие их импакты тоже растут.

У журналов же со строгим рецензированием - другой слой авторов, гораздо более узкий (при этом слой этот с предыдущим смешиваются достаточно мало), растёт слой этот небыстро (если вообще растёт), и самих таких журналов больше не становится, а потому и импакт их почти не растёт.

Вот в итоге и выходит, что импакт-фактор у "Хаос, солитоны и фракталы" уже больше в 1,5 раза, чем у Comm Math Phys, а через пару лет и в 2 раза больше будет.

А чтобы спасти ситуацию, надо бы ISI при подсчёте импактов откидать не только самоцитирования авторов, но и цитирования их соавторов и даже соавторов соавторов! Ведь есть такая вещь, как "citations rings", т.е. при отмене учёта лишь только самоцитирований эти активные дельцы от науки просто начнут договариваться и сколько надо цитировать друг друга.
Хотя при ISI-шной системе отлов citations rings не так просто технически реализовать, особенно у китайцев с их однообразными фамилиями (в MathSciNet архитектура базы грамотнее построена, там каждому автору присвоен ID, что позволяет отслеживать расстояние между авторами, но, увы, сама база цитирований значительно беднее, чем в ISI: http://www2.maidan.org.ua/n/osvita/1243551311 ).

Впрочем, пока в арабских странах и Китае платят тупо за количество статей в импактовых журналах, то, как правила игры не меняй, их всё равно обойдут. И ещё не факт, что с этим вообще станут как-то бороться, ведь любой свободный рынок (и рынок научных публикаций в том числе) всегда ориентируется на большинство, которое все больше переходит к китайцам с арабами."

Краткое содержание: ...А потом пришли китайцы и закрыли этот импакт-фактор к едрене-фене


(Добавить комментарий)


[info]kaktus_okamenel@lj
2009-08-18 15:34 (ссылка)
примерно так и будет - как везде где дают за что-то деньги. Оптимизация пути к кормушке.
Надо сказать что за 15 лет работы в Мексике правительство уже третий раз меняет правила игры на распределение грантов. Побеждают самые быстро-приспосабливающиеся и само собой те кто в курсе грядущих перемен.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2009-08-18 16:55 (ссылка)
увы

(Ответить) (Уровень выше)


[info]buddha239@lj
2009-08-18 18:06 (ссылка)
То-то мне как-то прислали на рецензирование абсолютно пустую статью из Мексиканского математического журнала (никогда раньше о нем не слышал:)) - какого-то румына (? вроде, Захареску) с сотней публикаций.:) Кстати, у него таки было пяток статей во вполне приличных журналах.

(Ответить) (Уровень выше)


[info]mad_differens@lj
2009-08-18 16:07 (ссылка)
Хорошо, если можно было бы исключать самоцитирование в виде самоцитирования самого журнала, или уже можно говорить о "citations rings" в виде журналов?
Неудачный пример, но в российской социологии чаще всего только так РИНЦ можно будет использовать.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2009-08-18 16:55 (ссылка)
ну, они же друг на друга

(Ответить) (Уровень выше)


[info]deadkittten@lj
2009-08-18 16:15 (ссылка)
Не указан ещё один печальный метод:
> Умный человек (в математике, по крайней мере) думает долго на каждой статьёй, пишет по 1-2 статьи в год
Эти статьи быстро дублируются китайцами (часто на родном языке), после чего начинают служить источником ссылок в таких "citations rings". В результате через год-два все ссылки идут не на первооткрывателя, а на китайцев...

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2009-08-18 16:54 (ссылка)
досадно

(Ответить) (Уровень выше)


[info]buddha239@lj
2009-08-18 18:02 (ссылка)
Умную статью китайцы могут и не понять.:) А вообще - именно так выигрывают статьи на более распространенных языках (например, английские у русских).

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]deadkittten@lj
2009-08-18 18:07 (ссылка)
Ну, мы однажды встретили в сети просто точную копию нашей статьи, но на китайском и за подписью китайцев. (Собственно, опознали по диаграммам и через онлайн-переводчик пропустили.) Так что понимать, в общем-то необязательно. :)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]buddha239@lj
2009-08-18 18:35 (ссылка)
Ну, ведь они хотят потом ее цитировать?:)

(Ответить) (Уровень выше)


[info]q_spoiler@lj
2010-03-08 09:43 (ссылка)
Вы не могли бы ответить, как, по-вашему, можно [и можно ли и нужно ли] реагировать в зависимости от обстоятельств?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]deadkittten@lj
2010-03-08 11:13 (ссылка)
Честно говоря, не знаю.
Мы просто обратили внимание на этот факт, да и всё. Никаких официальных или неофициальных действий по этому поводу мы не делали...

(Ответить) (Уровень выше)


[info]050778@lj
2009-08-18 16:27 (ссылка)
а как реагирует сообщество? ну, там, на конференции таких подозрительных не звать, ещё как-то.. короче, предложения по решению проблемы есть уже?

(Ответить) (Ветвь дискуссии)


[info]ascir@lj
2009-08-18 16:34 (ссылка)
Не звать на конфы - не решение. Выступление на конференции - это вообще ничто. Это всё равно что конфетку не дать (буквально).

У импактов много недостатков, но результат неучитывания импактов мы видим.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]050778@lj
2009-08-18 16:58 (ссылка)
нужна, наверное, какая-нибудь комиссия по этике публикаций.. ох, не знаю даже.. не во что верить! ;-(

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]deadkittten@lj
2009-08-18 17:43 (ссылка)
Мне кажется, будет просто меняться сама система импакт-фактора. Существующая предполагала более-менее честное её использование...

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]buddha239@lj
2009-08-18 18:07 (ссылка)
Можно учитывать только иностранные цитирования (в самом узком из возможных смыслов).:)

(Ответить) (Уровень выше)


[info]lao_pin@lj
2009-09-05 14:35 (ссылка)
Ох, так и есть уж - COPE (http://publicationethics.org/) - а всё не впрок: не это их занимает...

Корень зла, грубым штрихом, в том, что сложившаяся ситуация сиюминутно выгодна всем, кроме нормальных учёных (а о дальних последствиях эти "все" не думают).

Есть, как будто, неплохие идеи, типа Корпуса Экспертов (http://www.scientific.ru/trv/2008/001/korpus_expertov.html) - но в целом, увы, "мир рушится"...

(Ответить) (Уровень выше)


[info]mi_b@lj
2009-08-18 19:09 (ссылка)
ну уж конференций им и своих хватает - мне и то регулярно спам приходит

(Ответить) (Уровень выше)


[info]ivanov_petrov@lj
2009-08-19 02:48 (ссылка)
http://www.inauka.ru/science/article75067/print.html

...В июне 2006 года в "Азиатском математическом журнале" появилась 300-страничная статья двух учеников Яу — Чжу Су-Пина и Цао Хуайдуна, большая часть которой была посвящена подробному и последовательному анализу работ Гамильтона и Перельмана по проблеме Пуанкаре. Во вступлении к статье авторы, поначалу воздав похвалы Перельману за "привнесение свежих идей", позволивших преодолеть трудности, с которыми столкнулся Гамильтон, утверждали затем, что ключевые аргументы Перельмана остаются "непонятными" и, стало быть, бездоказательными, а потому они-де решили "заменить их новыми подходами".

Журналисты "Нью-Йоркера" Сильвия Назар и Давид Груббер немедленно выступили с резкой критикой этой публикации — разумеется, не в ее математическом, научном плане, а в плане чисто этическом.

...Будучи редактором АМЖ, Яу оказал поистине неслыханное давление на редколлегию, чтобы добиться этой публикации. ...По мнению авторов "Нью-Йоркера", все эти действия Яу были продиктованы его желанием так или иначе оказаться причастным к доказательству "гипотезы Пуанкаре".

Стоит заметить, что ни один из членов редколлегии АМЖ до сих пор не опротестовал эти утверждения. И многие западные математики выразили удивление той скоростью, с которой была опубликована работа Чжу и Цао, выразив мнение, что за такой короткий срок она просто не могла быть серьезно отрецензирована. Других встревожили не вполне этичные действия Яу, тем более что они получили продолжение на организованной им и состоявшейся чуть позже в Пекине международной конференции по струнам. Пригласив туда Хокинга и широко разрекламировав его приезд, Яу заявил китайским газетам, что намерен показать знаменитому космологу работу своих учеников Чжу и Цао, которые "помогли решить проблему Пуанкаре". Упомянув при этом работы своего друга Гамильтона и "русского" Перельмана, он оценил соответствующие вклады в доказательство "гипотезы Пуанкаре" следующим образом: Гамильтон — 50%, Перельман — 25%, а китайские математики — 30% (тот факт, что всего получилось 105%, этого выдающегося математика как-то не смутил). После всего пекинские газеты принялись безудержно восхвалять своих отечественных математиков, которые "раскусили исторический твердый орешек под названием гипотезы Пуанкаре".

Математики за пределами Китая осторожно оценивают претензии Яу, Чжу и Цао на приоритет в "полном доказательстве" гипотезы Пуанкаре как "противоречивые". Между тем в июле 2006 года Морган и Тянь разместили на сайте arXiv статью, в которой, вопреки утверждениям Яу и его учеников, показывали, что работы Перельмана могут быть развернуты в исчерпывающее и полное доказательство "гипотезы Пуанкаре".

...В свете всех этих "деталей" история Перельмана кажется не такой уж личной — за ней отчетливо проступает определенное общественное явление, некие нравы и методы, царящие ныне в так называемой чистой науке и делающие ее далеко не такой уж чистой. У Перельмана были достаточные основания сказать интервьюировавшим его журналистам: "Конечно, среди математиков есть более или менее честные люди, но почти все они конформисты — сами они более или менее честны, но готовы терпеть тех, кто нечестен. Поэтому чужаками среди них становятся не те, кто нарушает этические нормы. В изоляции оказываются такие люди, как я".

(Ответить) (Уровень выше) (Ветвь дискуссии)

зазмечтался
[info]050778@lj
2009-08-19 06:26 (ссылка)
Хорошо бы, если бы все ссылки на этого китайского математика другие предваряли комментарием - мол, тот самый, замешанный в таком-то скандале. Думаю, такой репутации никому бы не захотелось.
Мне [идеалистически] кажется, нужна какая-то служба или журнал международный по академической этике, с бесплатным (ну недорогим) распространением и в свободном доступе, разрекламированный, чтобы какая-нибудь специальная выборная комиссия такие случаи разбирала. Ну или, скажем, спецотдел где-нибудь в Natural. С каждой науки если скинуться по чуть-чуть, выйдет недорого и, хочется верить, эффективно. Когда есть возможность сильно испортить репутацию, ни один крупный игрок шульмовать не начнёт. Так, где-нибудь в провинции ещё будут - ну так а на тех можно будет потом по надобности, по аналогу с главной идеей, уже в рамках отдельной страны журнальчик собрать

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: зазмечтался
[info]ivanov_petrov@lj
2009-08-19 06:38 (ссылка)
Если не ошибаюсь, Вы социолог. представьте же простое продолжение вашей мысли. Есть возможность крупно испоритить репутацию. кому ее испортят - флагману китайской науки, у которого под ногами институт и полмеждународного сообщества. или перельману? Про которого лично Вы, к сожалению, не знаете - он Перельман (гений, которого...) или кто-то-там, который крал результаты. Комиссия по этике не нужна, если безвластна и даже на репутацию не влияет, и опасна - если влияет. Попробуйте придумать социальный институт, который бы надзирал за этикой. не важно - в казарме, бараке или научном сообществе.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]050778@lj
2009-08-19 07:01 (ссылка)
не знаю, выборная должность с голосованием, + чтобы в комиссии был, например, Нобелевский лауреат или кто-то сопоставимый по авторитету. Чтобы это именно что был некий выборный орган. Потом, тут, собственно, важно не столько "портить репутацию", сколько обращать внимание научной общественности, как бы нивелируя статусную разницу, чтоб один другого не давил. Тут, в общем, дело в авторитете и влиянии - думается, если начальника института авторитетная комиссия уличит в неких махинациях, то начальником института ему недолго быть. Как сделать так, чтобы это через 5 минут не превратилось в, допустим, инструмент давления академии одной страны на академию другой, я не знаю. Можно, допустим, сделать, чтобы эта этическая комиссия не столько решения выносила, сколько способствовала открытому обсуждению проблемы.
Ну вот, грубо говоря, я об этих рассказанных тут историях и не слышал, а был бы спецжурнал/сайт - прочёл бы, и другие бы прочли, сформировалось бы общественное мнение - уже полдела. Ну вот как-то так.
Надзором за этикой уже ведают совесть и стыд, новые придумывать незачем :-)

(Ответить) (Уровень выше)


[info]mi_b@lj
2009-08-19 19:36 (ссылка)
мне кажется, эта история про другое. все-таки, что Яу и его ученики занимаются математикой и их тексты, включая обсуждаемый, верны, никто не спорит. они продают пиратские копии дисков, а не коробочки с песочком под видом дисков

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2009-08-20 01:54 (ссылка)
да, в этом смысле про другое , это настоящие математики а не фальшивка. А с другой стороны - про то же. Научное сообщество можно разрушать и так, все это подрывает доверие. Ведь рейтинг изданий и авторов в импакте - это формализация доверия, ничего больше.

(Ответить) (Уровень выше)


[info]sezam_lj@lj
2009-08-19 05:05 (ссылка)
Чем-то напоминает ЖЖ и топ Яндекса.

(Ответить)


[info]mfreidin@lj
2009-08-19 07:19 (ссылка)
Интересно, как подсчитываются импакт-факторы для китайцев, имеющих одинаковые фамилии и инициалы?
Я как-то работал в лабе, где было пять китайцев и у трех из них была фамилия Джо.

(Ответить)


[info]qaraabayna@lj
2009-08-19 13:48 (ссылка)
Лучшим ответом на все это будет пробежевское хехехе.

(Ответить)

действительное начало конца импакта, по-моему
(Анонимно)
2009-08-19 18:03 (ссылка)
PLoS Journals – measuring impact where it matters ... we’ve decided to stop promoting journal impact factors on our sites all together. It’s time to move on, and focus efforts on more sophisticated, flexible and meaningful measures. http://www.plos.org/cms/node/478 petrov_ivanov

(Ответить) (Ветвь дискуссии)

Re: действительное начало конца импакта, по-моему
[info]ivanov_petrov@lj
2009-08-20 01:53 (ссылка)
Ни фига себе.

(Ответить) (Уровень выше)


[info]fregimus@lj
2009-08-21 10:33 (ссылка)
История с этими китайцами и Перельманом известная и гадкая, да.

Интересно посмотреть, как с этой же проблемой Гугол борется. Там ведь тоже индекс ценности страницы определяется числом ссылок на нее и ценностью тех страниц, что ссылаются. Целая индустрия «оптимизаторов» (SEO, search engine optimization) занимается обманом этой системы. Гугол, в свою очередь, оптимизирует алгоритмы, чтобы этот обман выловить и вычесть.

Алгоритм они держат в строжайшем секрете. Видимо, открытого — а иной в научном сообществе не годится — алгоритма вычисления обмана пока еще и близко нет. Так что вывод получается такой, что индекс одними математическими методами от нечистоплотных хитроумников не спасти.

И закрадывается тут подозрение, что этот Хе не первым этот ход конем изобрел. Если не накручивают в наглую, то этого можно долго не замечать.

А вообще я думаю, что идея индексов неверная. Это всегда очень хочется — сложную вещь одним-единственным числом выразить. Конечно, облегчать себе задачу определения доверия нужно, но, наверное, до такой степени она упрощаться и не должна. Слишком уж… скалярно получается. Так что это протухание идеи индекса, в общем-то, вполне ожидаемое, на мой взгляд.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2009-08-21 10:51 (ссылка)
_индекс одними математическими методами от нечистоплотных хитроумников не спасти_
мне бы казалось, что это изначально ясно

Идея индексов не в том, чтобы выражать числом качество ученого. Так ими пользуются только люди альтернативно одаренные. Идея в другом. Индекс измеряет то. что измеряет - напр.. абсолютное число публикаций. 273. и точка. И это число позволяет хоть как-то ориентировать в кто есть кто. когда это очень надо, а другого способа нет.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]fregimus@lj
2009-08-21 10:59 (ссылка)
Ну так я же зануда — мне надо цепочки явно выстроить.

О качестве я и не говорил, само собой. Слово было — «доверие».

другого способа нет
Я бы так категорично не утверждал, что нет. Что-то выработается на замену. Надо думать.

(Ответить) (Уровень выше)


[info]xaxam@lj
2009-09-09 09:35 (ссылка)
В результате пропаганды пользования всеми накрученными mensura Zoilii, работающие математики отлично понимают разницу между разными журналами (включая, кстати, имеющие высочайшую репутацию и именно по этой причине изрядно мафионизированные Annals of Mathematics и Inventiones Mathematicae), и просто никогда не откроют журнал типа "Срактаос"; более того, отговорят своих аспирантов подавать туда работы.

По трофической цепочке последующее расслоение идёт уже на уровне университетов. Университет (департамент), считающий себя приличным местом, будет до конца отбиваться от профессоров типа Нашего Хе. И наоборот, Межпланетный Университет Вселенского Знания с отделениями в Вологде, Шахрапуре, Пловдиве и на Багамских Островах (продающий дипломы по интернету) с удовольствием зачислит как можно больше Наших Хев к себе в штат, или хотя бы "почасовиками". Потому что в два клика проверяется, что эти учёные - самые великие в мире, значит, и Университет солидный.

Симбиоз, который будет работать, пока не кончатся лохи, покупающие университетские дипломы.

(Ответить)

рецензии
(Анонимно)
2009-09-25 08:18 (ссылка)
В январе (2009)получил на рецензию статью из журнала International Journal of Computer Mathematics. Полный бред, о чем и написал в рецензии. Но статью не опубликовали. Значит рецензия влияет на публикацию.

(Ответить) (Ветвь дискуссии)

Re: рецензии
[info]ivanov_petrov@lj
2009-09-25 08:21 (ссылка)
приятно слышать

(Ответить) (Уровень выше)


(Анонимно)
2010-03-03 22:03 (ссылка)
====Умный человек (в математике, по крайней мере) думает долго на каждой статьёй, пишет по 1-2 статьи в год,===

Если бы так всё по полочкам раскладывалось.
Эйлер (который по Лапласу был "наше всё") писал несколько поболее 1-2 статей в год.
Правда по количеству оных Коши перебил. Откройте какой-нибудь учебник по маетематике, если Вы не математик: Эйлер там, Коши здесь.

(Ответить)


[info]psilogic@lj
2010-03-30 16:21 (ссылка)
Как вы отличите citation rings от ситуации, когда несколько ученых работают над одной проблемой?

(Ответить)