Этот прорывный вывод представляет собой фундаментальную проблему для правил игры при определении вклада статей, журналов и профессоров. Он представлен в статье под названием «Тестирование метаморфической устойчивости: выявление скрытых дефектов в статистике цитирования и импакт-факторах журнала» Чжи Цюань Чжоу, Т.ЧАС. Це и Мэтт Уитридж, недавно опубликованные в IEEE Transactions on Software Engineering, ведущем журнале в этой области.
Т.ЧАС.
Цзе – почетный профессор компьютерных наук в Гонконгском университете (HKU). Чжи Цюань Чжоу получил степень доктора философии в HKU и в настоящее время является адъюнкт-профессором по разработке программного обеспечения в университете Вуллонгонг, Австралия. Мэтт Уитеридж – аспирант Университета Вуллонгонга.
Scopus и Web of Science – две ведущие системы индексации цитирования. Scopus предоставляет статистику цитирования для поддержки рейтингов Times Higher Education World University Rankings и QS World University Rankings. Web of Science предоставляет импакт-фактор журнала, который поддерживает рейтинг основных журналов. Из-за важности этих двух систем индексации важно обеспечить их качество.
В частности, тестирование устойчивости относится к проверке способности систем справляться с ошибочными вводами или неожиданными ситуациями. Например, может ли система индексации правильно обработать цитату, если при цитировании названия статьи допущена небольшая опечатка??
Профессор Це и члены команды предложили инновационный метод под названием «тестирование метаморфической устойчивости» для проверки Scopus и Web of Science.
Углубленное исследование выявило дефекты устойчивости в обеих системах, которые могут приводить к ошибочному подсчету цитирований для статей с дефисами в названиях, так что впоследствии вычисляемые импакт-факторы журнала являются проблематичными.
Еще в 2015 году Летчфорд и его коллеги провели масштабное исследование Scopus и обнаружили, что статьи с более короткими заголовками, как правило, цитируются чаще, чем статьи с более длинными заголовками. Их результаты широко освещались в международных средствах массовой информации, включая науку и природу.
Напротив, профессор Цзе и нынешняя команда пришли к выводу, что на самом деле именно количество дефисов в названии служит более доминирующим фактором для подсчета цитирования.
Обычно количество дефисов коррелирует с длиной заголовка статьи, что приводит к неправильному толкованию того, что количество цитирований зависит от длины заголовка.
Практика цитирования различается в зависимости от предметной области.
Публикации в определенных областях могут иметь систематически более высокое количество цитирований, чем в других областях. Например, можно утверждать, что статьи по химии (где названия статей часто содержат дефис как часть химической номенклатуры) получают только относительно ограниченное количество цитирований, что приводит к ложной отрицательной корреляции между дефисами и цитированием. Таким образом, команда провела целенаправленные исследования журналов в определенных предметных областях.
Результаты показали, что дефисы отрицательно влияют на количество цитирований статей, даже если исследование ограничено только определенной дисциплиной.
Чтобы опираться на результаты на уровне статей и дисциплин, команда исследовала влияние дефисов в названиях статей на уровне журналов.
Импакт-фактор журнала (JIF) – это общий показатель для определения частоты цитирования академического журнала. Он часто используется для обозначения относительной важности журнала в своей области. Полевое исследование программной инженерии показывает, что журналы с более высоким рейтингом JIF публикуют меньший процент статей с дефисными названиями.
Команда также провела анализ достоверности исследования, чтобы не попасть в ловушку приравнивания корреляции к причинно-следственной связи.
"Наши результаты ставят под сомнение общее убеждение академических кругов, правительств и финансирующих организаций в том, что количество цитирований является надежным показателем вклада и значимости статей. Фактически, они могут быть искажены просто наличием дефисов в названиях статей, что никак не сказывается на качестве исследования.
Точно так же наши результаты также ставят под сомнение обоснованность импакт-факторов журнала ", – сказал профессор Цзе.
"Эти удивительные результаты представляют интерес не только для профессоров, стремящихся занять должность или продвижение по службе, но и для высшего руководства, такого как президенты, деканы и руководители. Они применимы ко всем факультетам любого университета », – добавил он.
Примечание редактора: Web of Science Group опубликовала ответ на статью:
Мы обратили внимание на то, что IEEE Transactions on Software Engineering недавно опубликовал предпечатную статью об импакт-факторе журнала под названием «Метаморфическое тестирование устойчивости: выявление скрытых дефектов в статистике цитирования и импакт-факторах журнала», автором которой является Zhi Quan Zhou, T.ЧАС. Це и Мэтт Уитридж.
В документе утверждается, что «включение дефисов в названия статей препятствует подсчету цитирований."Ключевой особенностью отчета о цитировании журнала является то, что мы используем как связанные, так и несвязанные цитаты для расчета импакт-фактора журнала. Мы не полагаемся на заголовок статьи для унификации записей «цитирование с источником» в Web of Science, так как это поле может быть неоднозначным и подверженным ошибкам, поэтому дефисы сами по себе в названии цитируемой справочной статьи не помешают цитируемой ссылке ссылаться на источник.
Поэтому дефис в заголовке статьи не влияет на количество цитирований в отчете о цитировании журнала или на импакт-фактор журнала.
Наш полный ответ в виде письма редактору IEEE Transactions on Software Engineering можно скачать здесь.