題:
是什麼使評論者無法提供有偏見且非常負面的評論?
h22
2016-03-14 12:40:18 UTC
view on stackexchange narkive permalink

科學的基本特徵之一,甚至可能是最重要的特徵,是對科學結果的發表進行同行評審。

我想了解為什麼同行評審在科學界是有效的,因為我想將同行評審的原理應用於其他領域。

據我所知,研究人員是通常以與評審研究者相同的方式,通過競爭者的評審工作來產生科學成果,以換取贈款和聲譽。當然,這種競爭可能不是很直接,但是審稿人處於一個重疊的研究領域。此外,每個人在修飾自己的自我方面都有一些自然偏見。基於此,我希望大多數評論都是負面的。但是,對於體面的意見書來說,偏見和極度負面的評論似乎很少見。

是什麼阻止評論者提供偏頗的負面評論?

評論不作進一步討論;此對話已[移至聊天](https://chat.stackexchange.com/rooms/89127/discussion-on-question-by-h22-what-prevents-reviewers-from-providing-biased-)。
九 答案:
Dirk
2016-03-14 15:34:19 UTC
view on stackexchange narkive permalink

我認為,導致同行評議制度不陷入您所描述的陷阱的主要因素是,學者們最終對科學的發展感興趣。如果我必須審閱一篇好的論文,那麼我喜歡它,並希望看到它發表。如果我閱讀幾乎一篇優秀的論文,我建議進行一些改進,如果將它們合併並發表工作,我將很高興。如果我必須採取不公正和不合理的行動以獲得這種優勢,那麼我拒絕更多論文所獲得的非常溫和的優勢似乎並不值得。

另一個因素可能是:審稿人沒有編輯者匿名。編輯經常是有影響力的人,不斷寫出糟糕和不公平的評論會讓您看起來像個卑鄙又不公平的人。此外,如果您撰寫此類評論,編輯將不會再次選擇您作為審稿人,並且您將有效地從該雜誌的審閱系統中淘汰自己(儘管您仍可以提交論文)。

鑑於懸賞金,我又給了這個問題另一個想法,這又是另外一件事:社區。科學在社區中組織良好(例如,我認為自己是數學社區,應用數學社區,數學成像社區,優化社區等的一部分)。作為社區的一部分,人們認為應該遵循一些規則才能成為社區中的寶貴成員,而這些規則就是公平。不公平的感覺就像是不成文的社區規則的不當行為。因此,即使一個人可能會忍受幾種不公平行為的情況,但感覺就像是在欺騙該系統。但是,保持社區中受人尊敬的成員對於科學地位和生產力都非常重要。這種推理還可以解釋,當幾個相互競爭的社區形成某種程度的“彼此敵對”時,有時會發生不良行為:一個人可以保留其中一個社區的受人尊敬的成員,同時仍然不公平地對待另一個社區的成員。

_我認為主要因素...是學者們最終對科學的發展感興趣。_-我認為主要原因是大多數學者都是體面的人。
您可能會在本來很好的答案中添加一個其他概念:如果有多個審稿人,例如3名審閱同一篇論文,而2名審稿人給出了很好的審閱,而第三審稿人給出了很差的審閱,似乎與其他審稿人相矛盾,則可能會有一個對第三審稿人的好名聲的影響。如果該人持續提供有偏見的評論,那麼他們的偏見就很有可能出現,這反過來意味著他們的名字將被污
許多學者對自己職業的發展(觀點,理論)感興趣,而不是對整個科學感興趣。在經濟學等社會科學領域,這是顯而易見的。
tarulen
2016-03-14 21:02:59 UTC
view on stackexchange narkive permalink

競爭者一詞並沒有真正描述同一領域中不同科學家之間的關係。當然,對於贈款或類似的贈品存在一些競爭,甚至是將自己的名字放到新的結果中,但是某些方面卻有很大的不同: >一件好事,即使它不是來自您自己。它使您的區域變得重要而生動。在申請資助時,這實際上非常重要。

  • 您無法通過撰寫負面評論而從別人的工作中受益。沒有辦法簡單地減慢一篇論文的發表速度以便首先發表論文的結果。

  • 被拒絕的論文不會減慢“競爭者”的研究速度。當然,他們必須改進它並將其提交到其他地方,但是與研究過程本身相比,這需要花費很短的時間。

  • 不誠實的評論顯然很危險,有些人會看到帶有您名字的評論(我正在考慮使用Easychair等系統的其他評論者)。這些人很可能是幾週後審查您的撥款申請的人。

  • 為什麼同一篇論文有好幾篇評論都會冒不誠實的風險,是否有任何深層差異應引起編輯的深入調查?以及含糊不清的相關論文都來自同一位作者”,這顯然表明審稿人需要引用,但沒有什麼比這更糟糕的了。

  • 關於您的第二點,我最近聽到一個軼事,馮·諾伊曼是伯克霍夫在其論文中證明其遍歷定理的論文的裁判,並且在閱讀該論文後,他坐了很長時間的書,直到他回來時它已經發表了他自己的相關但不太普遍的結果(平均遍歷定理)。
    @tomasz您對此事有參考嗎?
    @DanRomik:並非真的,正如我所說,我只是最近才聽到。可能完全是假的。我不是專家,但據我了解,馮·諾依曼的結果雖然不那麼令人印象深刻且緊密相關,但它本身仍然是一個重要的結果(被稱為“平均遍歷定理”),而不是某種瑣碎的推論。
    @tomasz有一個故事,但這是不同的,並且AFAIK與同行評審無關。而是馮·諾依曼(von Neumann)最初提出了他的證明,並將其傳達給了伯克霍夫(Birkhoff),後者證明了他的定理。然後伯克霍夫(Birkhoff)迅速寫了一篇論文,並於[1931年12月](https://doi.org/10.1073/pnas.17.2.656)發表。而馮•諾依曼(von Neumann)則競相在[1932年1月](https://doi.org/10.1073/pnas.18.1.70)。參見卡爾文·摩爾(Calvin Moore)的[此透視圖](https://doi.org/10.1073/pnas.1421798112),以及[伯克霍夫和考普曼的第一手資料](https://doi.org/10.1073/pnas.18.3.279)。
    Luaan
    2016-03-15 19:05:41 UTC
    view on stackexchange narkive permalink

    我與學院沒有任何關係,因此請按照我對人類互動和行為的理解所期望的答案。

    信譽

    您擁有的主要資源是您自己的聲譽,如果人們指責您不公平,偏見或“不夠客觀”,這將嚴重損害其聲譽。您也許可以偶爾擺脫它,但是總的來說,它足以使系統正常工作。在最壞的情況下,您會減慢所討論作品的傳播,但是在實踐中,該論文將找到另一種方式(另一位審閱者,期刊...)。即使成功,也有損害聲譽的風險,這在與同行合作和有前途的研究為中心的領域中極為重要。

    競爭

    您僅考慮了單個科學家之間的競爭,這主要是(1)爭奪資助和(2)爭奪聲譽。我已經處理過聲譽了。如果您試圖使流程適應績效評估之類的事情,則贈款競爭可能對您很重要-這是最明顯的案例,在這種情況下傷害他人可以為您提供幫助。但是,它與同行評審過程沒有多大關係-確實會引入非常強烈的動機,即“在不出現實際不公平的情況下盡可能不公平”。

    但是,還有另一場正在進行的競賽-個人評審與其期刊之間的競賽。如果您的論文由於被認為是公正客觀的理由而被拒絕,那麼您也很可能會被其他期刊拒絕。如果不是這樣,其他期刊可能會抓住機會發表您的論文,同時也暗示著另一本期刊對該論文的不公平對待。如果您想讓日記/審稿人保持與時俱進,就不能經常這樣做!

    積分可以拿走

    如果要將類似的系統用於其他域,請確保正在發揮類似的激勵作用。

    • 擁有多個獨立的審閱者,並讓人們選擇他們的審閱者(而審閱者有機會拒絕)。
    • 請確保其中沒有太多的“權威”發揮作用-例如,下層關係並不適合同齡人。同行評審最好以共識和合理的客觀/共同價值觀為基礎。
    • 將一切公開(在團隊/公司中)。沒有匿名性,沒有“隱藏”評論。這對於基於信譽的控件起作用是必需的。在某種程度上,這是對等審閱系統中的冗餘-它允許人們自己“審閱”審閱。

    它在大多數平坦的層次結構中效果最好。考慮到公司的績效評估,如果管理人員命令周圍的人來,同行評估將是一個糟糕的選擇。另一方面,如果經理必須說服其他人來遵循他們的計劃,那可能會很好:)

    weronika
    2016-03-15 09:43:35 UTC
    view on stackexchange narkive permalink

    除了其他人列出的機制外,到目前為止,我出版的大多數期刊都允許作者列出他們認為有利益衝突的人,因此不應視為審稿人。因此,如果有您認識的人從事競爭性研究,您可以將他們放在該列表中。

    (我從事生物學,特別是植物遺傳學。我確信在各個領域之間差異很大)。

    >

    Bill Barth
    2016-03-14 19:02:14 UTC
    view on stackexchange narkive permalink

    發明雙盲審查(審查者和被審查者均未顯示對方的身份)是為了幫助解決其中一些問題。它幾乎專門用於某些領域的會議和期刊同行評審(想到了CS的各個部分)。在大多數情況下,這是為了防止對代表性不足的少數族裔和婦女冒起意識而產生的無意識偏見。鑑於從名字中識別女性和外國人相對容易,因此雙盲評審也通過向評審員隱藏姓名來阻止這些偏見的蔓延。

    是的,但是1)如果某人正在做與您相似的研究並且研究領域很小,那麼他們仍然可能會說這是您的論文; 2)如果他們只是在試圖壓制“競爭對手” ,無論作者是誰,他們都會為“競爭性”研究撰寫糟糕的評論。因此,在這種特殊情況下,幫助不大。
    -1
    雙盲審閱只能消除一些偏見,但不能消除操作規程中描述的誘因(即,至少從操作規程的角度來看,審閱者仍在批准競爭對手的工作)。它仍然是同行評審工具箱的重要組成部分,但是在其他環境中也可以很好地工作。在這種情況下,還應該提到的是,雙盲評審比單盲評審更難實施,尤其是在學術環境中,例如論文傾向於承認同一小組以前的工作。在其他設置中,可能會或可能不會成立。
    @E.P。和韋羅尼卡,是的,還有嗎?我並不是說這是靈丹妙藥,只是有一些OP應該熟悉的審閱者偏見方面的工作。 Fomite死了,因為即使在很小的領域中,也很難像您想的那樣對紙張進行不盲目打印。這是一個經過充分研究的領域,儘管像您這樣的爭論,計算機科學仍然堅持下去。
    是的,我並不是說您的答案是錯誤的,我只是想說的還有更多。如果OP希望將同行評審移植到其他場景,並且他們希望移植雙盲,那麼至少在事情的機制上,這可能會做更多的工作。 (對*正確*的盲目論文進行盲化是不容易的。如果作者說出“正如我們在前一份手稿上所展示的...”並提供了完整的引用,那麼遊戲就算結束了。 *還有*更多的工作。)
    儘管雙盲遮罩了作者是一件好事,但在我的學科(CS,系統)中,不幸的是,它經常也遮掩了很多內容。為了不被別人輕易掩蓋,我經常不得不刪除所有到我們實時系統的鏈接,審查者可以在其中重新運行實驗並檢查工具。
    @Daniel,也許您應該在審閱論文時,在某些VM上的AWS中建立匿名實時系統,然後在準備可用於攝像頭的版本時交換非匿名URL。
    @BillBarth:不幸的是,這並不容易。我們所做的低級系統工作(操作系統和虛擬機管理程序,有時會添加自定義硬件)是我們無法將其放入虛擬機中的。但是,即使是這樣,我們的工具和技術也非常特殊,因此提供它們也將掩蓋身份。
    @DavidRicherby,公平點。我認為這幾乎涵蓋了所有內容。我沒有足夠的空間來列出使用或不使用CS的CS子字段。在CS中這很普遍,值得廣泛列出。據我所知,關於它的大部分研究及其在技術工作中的巨大推動力似乎都起源於CS。
    @DavidRicherby,的解析不太緊密。這只是網絡。我提交的所有其他CS子字段都需要進行雙盲提交和審查。我本身不是CS人員,因此我可能會錯過一些微妙之處。如果讓您生氣,我深表歉意。知道為什麼理論CS不加入潮流嗎?
    @BillBarth不用擔心。我猜理論上CS是單盲的,因為它源於數學。
    @DavidRicherby,顯然沒有老兄不自覺地偏向於此。
    Dubu
    2016-03-16 14:00:23 UTC
    view on stackexchange narkive permalink

    @weronika的回答中提到了一個方面,但我認為壓力不夠大,也許對作者而言並不明顯:通常有不止一位審稿人。

    在我的區域中,通常會有三種不同的評論,這似乎是保持較低的總工作量並允許識別“異常值”的一種很好的折衷方案。編輯者可能看不到單個評論是否有偏見,但是如果他們看到評論彼此矛盾,則可能會引起不公平的評論。不足以獲取有意義的統計信息(這就是為什麼我用引號寫出“離群值”),並且只能以統計方式比較審閱者表中的多項選擇或數字等級。但是,有幾個關鍵因素會降低評論的質量,並且至少要有一位以上的評論者,才能減少其可能的影響:

    1. 專業領域知識不足,
    2. 疏忽或錯過時間,以及
    3. 偏見或惡意。
    4. ol>
    這是某種程度上提供與本文其他評論一致的評論的“統計遊戲”嗎?
    @h22我不確定我是否理解您的評論,但我嘗試通過其他文字來澄清我的答案。
    Roy T.
    2016-03-15 19:19:31 UTC
    view on stackexchange narkive permalink

    我們已經看到隨機生成的論文被接受,大學的表現像造紙廠,研究人員在已發表論文的數量上也獲得了滿分。

    評論系統幾乎完全基於每個人都有良好意圖的願望。不幸的是,這不能使系統正常運行。

    最常見的抱怨是,許多審稿人沒有花足夠的時間來審閱材料。讓人們在同行評審系統中花費寶貴的時間可能比使他們誠實行事更困難。儘管我聽說過作者之間的爭執。在審稿人並不像我們希望的那樣匿名的小領域中,這尤其成問題。請注意,反饋可能會確定審閱者。還要注意,作者從不匿名(很難匿名),這使系統更容易受到惡意審閱者的懷疑。

    部分緩解因素可能是編輯者。哪個充當裁判。但是,如果編輯者是惡意的呢?

    要回答您的問題:沒有確定的因素可以阻止惡意使用學術同行評審系統。在某些情況下,系統已被濫用。我也不相信科學家比其他任何人都更少惡意:)。

    審閱者是否“有意”給出不良評論可能比他們的“無意識”偏見重要。
    The Guy
    2016-03-22 19:27:18 UTC
    view on stackexchange narkive permalink

    說實話,很難證明(或在此問題上可以概括)一群人(審閱者)的行為。我敢肯定,我們當中有些人是不合理和不公正的審閱過程的受害者,例如,在4-5個月後因問題不佳,語言不嚴謹或最明顯的情況而獲得的審閱,您可以在幾週內找到與您的論文非常相似的作品延遲審閱後收到的文章中!!

    即使通過雙盲同行審閱過程,審閱者仍可以根據他們的研究主題,措辭和實驗集猜測誰是某篇論文的作者。 -和/或什至是資金帳戶/代理商(通常在“致謝”部分中提到)。因此,這非常取決於人!可以將其想像為參加體育運動的運動員,他們都遵守相同的規則,但是有些人總是會試圖欺騙系統!

    好消息是,與那些渴望與其他研究人員進行不公平競爭的評論者相比,真正對發展科學感興趣的評論者更多。不要讓任何一個讓您失望,像這樣想。.您一定一直在做一些非常有趣的研究!

    blankip
    2016-03-14 22:17:17 UTC
    view on stackexchange narkive permalink

    您的方法論本身有偏差。任何時候您在做一些事情來改變審閱過程時,您都會創建有偏見的審閱。這可能很簡單,例如在審閱過程之前或之中,以及在頻譜的另一端措辭,卻遺漏了一些潛在的審閱者。

    我的建議:

    • 比評論更擔心科學

    • 歡迎偏見的評論者。我寧願看到我的研究/科學所存在的缺陷,而不是在完全公開之後才發現。

    • 理解存在風險或浪費時間的因素參與。如果某人有偏見並且使用了錯誤的審閱策略,則這將花費更多時間。但是,總的來說,這也使您可以了解更多有關您要對抗的外部力量以及如何更好地反駁這些力量。

    • ,還有一點是,顯然會有偏見容易被駁斥。照原樣,它將降低審閱者的立場/聲譽,並突出您正在做的工作。有了A對Z的動態,人們比僅僅聽到A更充滿激情。

    所以,實際上,您唯一需要做的就是(我寫評論) / survey系統)應具有一種反駁評論的機制,並確保撰寫評論的人理解這一點。如果我關心自己的名字,並且我知道有人可以反駁我對我的立場,那麼我不會對某事發表不真實/偏見的評論。透明度是關鍵。

    這個答案似乎沒有解決這個問題。 OP並沒有說要“更改”審核過程,而只是說“實施”審核,而且您聲稱的“方法”完全不明確。還不清楚是否涉及任何種類的科學(也許在元層次上除外)。
    @tomasz-提出該問題表明您試圖提出有偏見的評論。您不理解我的答案,這很好,也許對您來說太元了。
    -1


    該問答將自動從英語翻譯而來。原始內容可在stackexchange上找到,我們感謝它分發的cc by-sa 3.0許可。
    Loading...