Количество цитирований – индикатор эффекта, который учитывает частоту публикаций и частоту, с которой опубликованные материалы процитированы другими исследователями. Так как исследователи цитируют друг друга по множеству причин, то дискуссионным остается вопрос о том, что фактически измеряет количество цитирований. Предполагается, что исследователи цитируют друг друга, поскольку основываются на идеях и результатах других исследователей, и количество цитирований является характеристикой качества. Но насколько значительно такое качественное измерение? Повод для цитирования также может быть неоднозначным. Не всегда ссылка на работу другого исследователя используется в качестве поддержки собственной точки зрения исследователя. Ссылка может использоваться и для того, чтобы не согласиться с точкой зрения другого автора или показать общее понимание предметной области. Измерение качества исследований без использования количества цитирований осложняется тем, что информация для этого больше имеет отношение к коммуникационным структурам и профессиональным сообществам.

В академическом сообществе продолжается обсуждение возможности использования и неправильного употребления статистики цитирования. В 2008 году Объединенный комитет количественной оценки исследований (Joint IMU/ICIAM/IMS[16] Committee on Quantitative Assessment of Research) опуб ликовал отчет об ограничениях статистики цитирования и рекомендациях по ее использованию. Предпосылкой для создания отчета стало наблюдение того, что для большей прозрачности и ответственности в академическом мире создана культура чисел. Комитет в своем отчете отметил, что лица, принимающие решения, при отсутствии возможности измерить качество (конечная цель) заменяют качество числами, которые они могут измерить. Эта тенденция призывает дать комментарий тех, кто профессионально имеет дело с числами – математиков и статистиков[17].

Отчет был прокомментирован другими экспертами, которые признают распространенное неправильное употребление данных о цитируемости, но также указывают на способы провести результативный анализ, прежде всего идентифицируя и сравнивая эффективность сопоставимых групп ученых[18].

Кроме того, есть много проблем в отношении техники измерений, связанных с количеством цитирований. В частности, проблемы связаны с конкуренцией между базами данных. Самыми признанными являются базы Thompson Reuters ISI Web of Science, Scopus и Google Scholar. Прозрачность информации баз данных и критериев, на основе которых материалы включаются и исключаются из подсчетов, находятся пока на недостаточном уровне. Из-за различий в степени покрытия базами данных поиски в различных системах часто дают разные результаты. Кроме того, базы данных могут быть склонны к ошибке, и степень покрытия меняется в зависимости от области исследований. Для получения, обработки и интерпретации информации о цитировании из баз данных от специалиста требуется владение комбинацией библиометрических и академических навыков в определенной области исследования.

Поскольку и количество публикаций, и степень цитируемости значительно разнятся в зависимости от областей исследований, то возможности для проведения сравнений очень ограничены. Существует рекомендация сравнивать «подобное с подобным». Так, для анализа цитируемости на предмет оценки успешности университетского исследования данные должны быть нормализованы, например, путем соотнесения среднего числа цитирований статьи с мировым средним значением по конкретной области исследований. Такой подход позволяет учесть различную степень воздействия отдельных исследовательских направлений.