最近最令小弟我振奮的消息，是我"第一篇"SCI的Original article終於通過雜誌社的審查了。大家說，凡事起頭難，這篇文章真的是難產，前前後後搞了兩年多，還把我搞離了醫學中心(嘆~~)。文章通過審查了，接下來是大家的恭喜什麼的...再接下來，就是填國科會的AB表了。所以，上網找這本雜誌的Impact Factor，和期刊的排名。在查找的同時，以往聽到的一些對IF的質疑，也同時顯現在google中(這只告訴我們，沒事還是多看google，在google中可以看到不少正反方的意見，不要老活在自己的小圈圈中，被官員們用IF拉著走)。
還是先來簡介一下IF是怎麼來的。
所謂的IF就是：以某雜誌的所有文章在過去兩年內被引用的次數，除以該雜誌所有文章的數目所得到的數字。而執行這個業務的，是湯姆笙科學公司(Thomson Scientific)。
這個定義非常的簡單，很好理解，想像中也應該非常好算。但是，再深入的想一下，或是用做實驗/研究的精神想一下，當你要做這樣的評估時，你會遇到什麼樣的問題呢？？
1. 要去那些地方找引用？
當然，這似乎是沒問題的，只要是SCI榜上有名的，都會被列入計算或是觀查名單內，沒被SCI所收錄的期刊，其中的文章與引用就通通不計。不過，SCI的榜又是誰訂的，訂的標準又是那兒來的，結果，又是湯姆笙科學公司(Thomson Scientific)挑選和整理的，至於要不要選入SCI榜，也是該公司參考IF的結果。說來說去，似乎又變成了個是雞生蛋，還是蛋生雞的問題了。客不客觀，涵蓋的層面夠不夠廣，在所謂"好"的雜誌是沒什麼問題的，但是對於像"數字週刊"這樣的雜誌，要不要列入，就會有很多的爭執了。
2. 數據會不會因計算時的年份的不同而得到不同的結果？
簡單說，某大量引用"數字週刊"文章的"水果雜誌"去年沒入選，今年入選了，所以對"數字週刊"在2007年的計算，今年算出來的結果理應和去年算的結果會不同，那要以那一次為準呢？？網友也列出了美國洛克斐勒大學出版社(Rockefeller University Press)的編輯們，與湯姆笙科學公司(Thomson Scientific)論戰之事，因為美國洛克斐勒大學發現從湯姆笙公司買來的統計數據自行去計算，所求得的IF值公佈的不一樣。一個研究沒有辦法Repeat，沒辦法讓別人檢視，應該不能視為有效的研究，及有公信力的結果。
那，有可能會出現什麼樣的迷誤(bias)呢？？
1. 會不會有極端值的影響，影響有多大？？
某網友就有提到：
同樣的，一些綜論性的文章、review的雜誌，因為什麼都寫到了，所以被引用的次數一定比只寫單一研究的還高。有人研究了排名前幾名的雜誌，要嘛都是Review的，再不就是像NEJM這樣各科通殺的雜誌。如下：
2. 多人唸的，真的就最有價值嗎？？
沒錯，多人關注的就應該稱之為顯學，但是，非顯學常常也是重要的。就拿生硬的基礎科學，和醫學來比，光是醫生至少每1千人就一個(在開發及已開發國家)，但是基礎科學就沒有這麼多人在做研究了。所以，醫學相關的IF也是基礎科學的10倍以上吧(我猜)。套個網友的文章：
3. 真的有雜誌是一定公正的嗎？？
大家都不願面對的問題，就是有所謂的Journal Club。因為不願面對，就點到這兒為止了。
不過，還是提一下醫界中最有名的一隻貓，Oscar。以牠為篇名的文章 "A Day in the Life of Oscar the Cat" 是出現在 New England Journal of Medicine，2007年的IF是大於60的，而且是歸類為PERSPECTIVE的文章。說真的，這樣的文章，你打死都不肯相信會出現在這樣頂尖的Journal上。或是說，換成我寫這樣的文章，可能連IF = 0.001的雜誌都不肯刊，除非是我老爸辦的雜誌(誤)但是作者 Dr Dosa 卻可以此賺到一篇60多分的文章。上Google，還可以發現有人引用它的說！！這樣說來，清楚了嗎？？你知道的~~~
4. 雜誌社自己的造假？
之前耳聞發生過的事，某開發中國家的journal，為了能增加自己的IF，規定投稿的人要有多少比例引用自己的文章。雖然在湯姆笙科學公司管IF的網頁下，可以進一步看到這雜誌的引用來源，但是這樣造成的誤差，一定也相當的多。
5. 錯誤的資訊，引用反而多？？？
大家最常引用的例子，是南韓科學家黃禹錫發表在Science上，被抓包的那個複製人類胚胎幹細胞文章，雖然被公告刪除。但是，還是有人引用它，有引用，就會反應在IF上，只是，這樣所造成IF的增加，完全不代表它研究的貢獻。IF 完全沒辦法擺脫錯誤引用、錯誤研究成果所造成的影響。
有人提出其他看法，其他排名的算法，或是像Google一樣的用page rank來排名。不管如何，如果你像我一樣，身陷在學術研究之中，就免不了要和大家一起來玩這場數字遊戲。
我的延伸閱讀：在impct factor之外 -- 談Google Scholer Citation 及 Microsoft Academic Search 服務
Impact Factor (IF)：延伸閱讀：
WIKI的解釋
不可盡信的impact factor？
Impact Factor@實驗室裡 實驗室外
我們需要新的Impact Factor?
SCI? Impact Factor? 學術界拿來譁眾取寵的工具。
The Impact Factor Game
科學雜誌排名，Impact Factor 對比 Page Rank，哪個更合理？
還是先來簡介一下IF是怎麼來的。
所謂的IF就是：以某雜誌的所有文章在過去兩年內被引用的次數，除以該雜誌所有文章的數目所得到的數字。而執行這個業務的，是湯姆笙科學公司(Thomson Scientific)。
這個定義非常的簡單，很好理解，想像中也應該非常好算。但是，再深入的想一下，或是用做實驗/研究的精神想一下，當你要做這樣的評估時，你會遇到什麼樣的問題呢？？
1. 要去那些地方找引用？
當然，這似乎是沒問題的，只要是SCI榜上有名的，都會被列入計算或是觀查名單內，沒被SCI所收錄的期刊，其中的文章與引用就通通不計。不過，SCI的榜又是誰訂的，訂的標準又是那兒來的，結果，又是湯姆笙科學公司(Thomson Scientific)挑選和整理的，至於要不要選入SCI榜，也是該公司參考IF的結果。說來說去，似乎又變成了個是雞生蛋，還是蛋生雞的問題了。客不客觀，涵蓋的層面夠不夠廣，在所謂"好"的雜誌是沒什麼問題的，但是對於像"數字週刊"這樣的雜誌，要不要列入，就會有很多的爭執了。
2. 數據會不會因計算時的年份的不同而得到不同的結果？
簡單說，某大量引用"數字週刊"文章的"水果雜誌"去年沒入選，今年入選了，所以對"數字週刊"在2007年的計算，今年算出來的結果理應和去年算的結果會不同，那要以那一次為準呢？？網友也列出了美國洛克斐勒大學出版社(Rockefeller University Press)的編輯們，與湯姆笙科學公司(Thomson Scientific)論戰之事，因為美國洛克斐勒大學發現從湯姆笙公司買來的統計數據自行去計算，所求得的IF值公佈的不一樣。一個研究沒有辦法Repeat，沒辦法讓別人檢視，應該不能視為有效的研究，及有公信力的結果。
那，有可能會出現什麼樣的迷誤(bias)呢？？
1. 會不會有極端值的影響，影響有多大？？
某網友就有提到：
還記得幾年前有一份期刊剛開始發行，就稱之為VC好了。它在2001年左右的impact factor的表現非常好，大概在實驗心理學的期刊中排名前25%。當時我們都極為驚訝，想說這本期刊的成長速度真是驚人，真的是期刊總編領導有方。今天查了一下，VC在2005的排名已經落到後50%了，表現大不如2001年的盛況。
後來我就猜想，會不會是VC在1999或2000年有一本特刊，內容是刊載非常熱門的主題的緣故？先察看了一下每年的文章的被引用率，發現2000年的期刊的文章被引用次數特別高。之後，連到期刊的網頁，瀏覽 2000年的內容。果不其然，該年有一本改變盲（change blindness）的專刊，滿滿的都是相關的研究。因為懶得用SSCI慢慢查的緣故，直接把該期的一些文章丟到Google Scholar查詢，發現有好幾篇文章的被引用次數都是一兩百次。也因此，只要這個主題繼續熱門，2001年仍然有許多相關文章的出現，那VC的 impact factor就一定會很高了。之後，過了2002年，2000年的文章不再被列入impact factor的計算之中，縱使還是常常被引用，還是無法讓VC的impact factor維持在較高的水準了。
同樣的，一些綜論性的文章、review的雜誌，因為什麼都寫到了，所以被引用的次數一定比只寫單一研究的還高。有人研究了排名前幾名的雜誌，要嘛都是Review的，再不就是像NEJM這樣各科通殺的雜誌。如下：
CA-CANCER J CLIN其中，有 "REV" 字眼的就是Review的雜誌。甚至，各大雜誌每年一定要拿一兩個議題來做個專輯，寫成一本suppliment。甚至聯合各大學會，定立一些所謂的guideline，每幾年就修改一下，讓IF可以大幅上昇。
NEW ENGL J MED
ANNU REV IMMUNOL
REV MOD PHYS
NAT REV MOL CELL BIO
ANNU REV BIOCHEM
CELL
PHYSIOL REV
NAT REV CANCER
NATURE
2. 多人唸的，真的就最有價值嗎？？
沒錯，多人關注的就應該稱之為顯學，但是，非顯學常常也是重要的。就拿生硬的基礎科學，和醫學來比，光是醫生至少每1千人就一個(在開發及已開發國家)，但是基礎科學就沒有這麼多人在做研究了。所以，醫學相關的IF也是基礎科學的10倍以上吧(我猜)。套個網友的文章：
內容深澳的文章看得懂的人很少，這種文章被引用次數當然不多。很多明明是最經典的文章無法被引用，類似內容格局卻狹小的簡易版本卻被引用很多次。.......一堆淺薄的人互相引用來引用去，這類文章能夠高明到哪裡去？
3. 真的有雜誌是一定公正的嗎？？
大家都不願面對的問題，就是有所謂的Journal Club。因為不願面對，就點到這兒為止了。
不過，還是提一下醫界中最有名的一隻貓，Oscar。以牠為篇名的文章 "A Day in the Life of Oscar the Cat" 是出現在 New England Journal of Medicine，2007年的IF是大於60的，而且是歸類為PERSPECTIVE的文章。說真的，這樣的文章，你打死都不肯相信會出現在這樣頂尖的Journal上。或是說，換成我寫這樣的文章，可能連IF = 0.001的雜誌都不肯刊
4. 雜誌社自己的造假？
之前耳聞發生過的事，某開發中國家的journal，為了能增加自己的IF，規定投稿的人要有多少比例引用自己的文章。雖然在湯姆笙科學公司管IF的網頁下，可以進一步看到這雜誌的引用來源，但是這樣造成的誤差，一定也相當的多。
5. 錯誤的資訊，引用反而多？？？
大家最常引用的例子，是南韓科學家黃禹錫發表在Science上，被抓包的那個複製人類胚胎幹細胞文章，雖然被公告刪除。但是，還是有人引用它，有引用，就會反應在IF上，只是，這樣所造成IF的增加，完全不代表它研究的貢獻。IF 完全沒辦法擺脫錯誤引用、錯誤研究成果所造成的影響。
有人提出其他看法，其他排名的算法，或是像Google一樣的用page rank來排名。不管如何，如果你像我一樣，身陷在學術研究之中，就免不了要和大家一起來玩這場數字遊戲。
我的延伸閱讀：在impct factor之外 -- 談Google Scholer Citation 及 Microsoft Academic Search 服務
Impact Factor (IF)：延伸閱讀：
WIKI的解釋
不可盡信的impact factor？
Impact Factor@實驗室裡 實驗室外
我們需要新的Impact Factor?
SCI? Impact Factor? 學術界拿來譁眾取寵的工具。
The Impact Factor Game
科學雜誌排名，Impact Factor 對比 Page Rank，哪個更合理？
沒有留言:
張貼留言