Ученые крайне плохо оценивают значимость работ своих коллег

Ученые оказались плохими судьями научной значимости работ, которые были опубликованы их коллегами — так, они постоянно завышают их значимость при публикации в престижных журналах и крайне редко предсказывают уровень популярности статьи, заявляют британские эксперты в статье, опубликованной в журнале PLoS One.

«Все три метода оценки научной значимости — отзывы рецензентов, подсчет количества цитат и так называемый импакт-фактор — крайне плохо работают. В частности, рецензии крайне уязвимы к ошибкам, зачастую ангажированы и чрезмерно дороги с финансовой точки зрения. И хотя импакт-фактор может быть лучшим из этих методов, он все же остается несовершенным из-за субъективного элемента», — заявил Адам Эйре-Уолкер из университета Сассекса (Великобритания).

Эйре-Уолкер и его коллеги пришли к такому выводу, проанализировав статистику по цитируемости и изучив отзывы к нескольким тысячам научных статей, опубликованных в престижных рецензируемых журналах в 2005 году.

Авторы статьи пытались понять, что лучше отражает научную значимость той или иной публикации — отзывы экспертов в этих областях науки или же «сухая статистика» в виде импакт-фактора и индекса цитируемости. Для этого ученые собрали статистику по почти двум тысячам статей, на которые было написано две или более рецензий.

Оказалось, что

рецензенты крайне плохо прогнозировали будущую популярность статьи среди своих коллег, а также редко ставили одинаковую «оценку» исследованию. Кроме того, они были склонны завышать значимость статьи в тех случаях, если она публиковалась в топовых журналах. Когда исследователи учли этот фактор в своем анализе, точность оценок упала еще ниже.

Как отмечают эксперты, наиболее адекватным критерием в оценке значимости статьи был импакт-фактор, хотя точность таких предсказаний все равно была очень низкой.

Поэтому авторы статьи предлагают оценивать значимость каждой статьи сразу по нескольким факторам, что позволит минимизировать разброс в оценках.

Пожалуйста, оцените статью:
Ваша оценка: None Средняя: 5 (7 votes)
Источник(и):

1. РИА Новости