好問題。很難回答。一些想法：

• 評論者未經培訓
• 評論者是匿名的
• 評論者收到關於其表現的反饋意見
• 評論者是也是作者，爭奪相同的資金/聲望
• 審稿人專門研究狹窄學科
• 審稿人是志願者
• 審稿人稀缺
• 評論系統缺少外部（獨立的）控制系統（審核）
• 評論者是具有自己的個人興趣，情感和能力的人

考慮到這些觀察結果，不太可能期望兩個審閱報告保持一致。然後，艱難的決定轉移到了同時也是志願者而不是作者領域的副編輯。

留下了一個問題，為什麼在科學之外卻不被接受。老實說，我不知道。只是一些猜測：

• 科學是一個有自己規則的強大的孤立部門？
• 當前的系統適用於已建立的研究小組嗎？
• 沒有資金來培訓和吸引合格的專業人士/科學家作為審稿人嗎？
• 沒有簡單的解決方案或替代方案嗎？

根據評論添加：-審稿人很忙科學家-評論者因進行評論而沒有職業成就

最大的區別在於，直到博士學位論文水平，進行評估的人比被評估的人更像是專家。在幾乎所有這些情況下，都有一套商定的標準技能，技術和知識，可以期望任何評估者擁有並且可以對任何評估者進行評估。

對於博士論文而言，情況並非如此，但最後，一旦導師/論文委員會為一名學生開綠燈，幾乎所有博士學位論文都將通過。

上層肯定不是真的。在幾乎所有情況下，與進行審查的人員相比，被審查的人員將更勝任工作專家。唯一的例外是直接競爭對手，因此將其排除在外。我們在人類知識的邊緣說話，不同的人具有不同的知識和技能。

我很驚訝GRE分數如此一致。人們早已知道，作文評分是任意的（例如，參見Diederich 1974 [1]）。介意您以6分制為1分是15％–差異很大。在我們的學位課程中，70分及以上是一等學位–成績最高，而55分是2：2，該學位不會讓您接受大多數研究生職位的面試。在贈款評估中損失15％幾乎肯定會使您失去贈款。在研究中，沒有這樣的專欄。沒有衡量一項研究的預定標準，任何放下一項研究的嘗試或多或少都會破壞整個研究的重點。

關於被拒絕的好論文問題，似乎尚未被提及的一個因素是，接受偽造的論文的後果要比拒絕好論文的後果嚴重得多紙。如果一篇好的論文被拒絕，則始終可以將其重新提交給其他期刊。而且，如果作者首先根據審閱者的意見進行修訂，那麼最終被發布的版本可能比被拒絕的版本更好。

但是所有丟失的都是時間。

但是，如果偽造的論文被接受，其他科學家可能會在文獻中看到它，認為其結果是正確的，並在此基礎上開展自己的工作。它。這可能會導致他們的部分的大量時間浪費，因為依賴於虛假結果的實驗無法如期進行（如果錯誤發生，至少可能導致虛假紙張被收回）夠壞）。或者，也許他們會避免沿著會起作用的方法進行研究，因為假冒的論文暗示它不會，或者更糟的是，他們最終會自己得出錯誤的結果並最終將

我知道，這並不能真正回答您的問題，但我想談談您的第一個例子-被拒絕的論文後來導致獲得諾貝爾獎。

有時候，一項工作是 Frame Breaking ，它導致了字段中的 Paradigm Shift 。自從哥白尼和伽利略以來，這在歷史上已經發生過很多次。愛因斯坦關於相對論的早期工作在物理學/天文學的“寡頭”中被拒絕了，因為它與當時對以太的信仰相去甚遠。該領域中最傑出的成員拒絕一個全新的想法，他們的學生通常都受到普遍歡迎。

有人說，物理學革命要求最受尊敬的研究人員死亡或退休，以便年輕人的想法能得到公正的聽證並脫穎而出。

這實際上是對第一個鏈接中引用的八篇論文中至少某些論文的解釋。

我認為我們當中沒有很多人撰寫範式變更論文，但是這種情況偶爾會發生。我們中間真正的聰明（無罪）常常在一代人的大部分時間裡都保持沉默和默默無聞。下一代可能會慶祝他們，甚至可能需要更長的時間。

當審稿人面對的是真正具有突破性的論文時，根據定義，他們沒有可以對其進行評估的參考框架。它與他們的整體思維方式正交。 “這一定是胡說八道”，是很自然的反應。

例如，閱讀 Ramanujan的簡短維基百科傳記。

不同的任務，不同的結果。

所有GRE成績分級員要做的就是分配分數，但他們要對數十或數百篇論文進行評分。他們收到明確的指導和示例，說明給定論文應獲得的分數。因此，基本上是用複選框來證明一小部分結果是正確的。

同行評審分析本質上是不同的，因為您要求的是一項技術難度更大的任務。他們必須評估分析是否準確，而不是是否對提示做出響應。兩者都沒有可藉鑑的例子。因此，對於不同的審稿人來說，同行審稿的重點可能會大相徑庭，他們可能具有不同的專業知識，並且肯定會有自己的觀點。

將學術同行評價與GRE等級進行比較-這使蘋果和橙子看起來幾乎一樣。讓我們走近一點：

類似地，據我所知，本科論文閱讀器，MS論文閱讀器甚至是PhD論文閱讀器通常都不會對作品做出截然相反的判斷。

這當然並不總是正確的，並且高度依賴於字段。在學術界的某些地方，一個標準的研究生恐怖故事是，委員會成員A堅持以理論視角X來發表論文，而委員會成員B堅持以理論觀點X來發表論文，其中X和Y可能在理論上是不相容的，或者在社會上是不相容的：即，每個理論都將另一個視為中心原則。這在人文學科中更為常見，因為“其餘部分”的“理論”的本質大相徑庭，但在科學界也不是沒有聽說過的。

作為常務委員會委員，我也偶然知道達成共識性判斷既是一種社會學現象，也是一種理性的現象-即，某些判斷上的差異僅限於以下私人討論

這對理解同行評議的差異很有幫助：

（這至少有助於我理解同行評議的差異）：在同行評議中，不同的裁判（至少以我的經驗）從不直接彼此之間的交流，實際上可能根本看不到彼此的判決：作為裁判，我相信從未展示過其他裁判的報告。實際上，

誰看守看守人？

學術過程中沒有什麼比讓裁判更讓我感到自己像個孤獨的蒙面警惕者。當然，進行GRE評分的人要經過漫長的培訓過程，反復進行實踐評估，對這些評估的反饋，對更大目標的討論等等。學術裁判沒有這樣的事情。我們沒有實踐，對工作的評價也很少。如果我迅速提交一份異常全面的報告（我想！），我通常會收到“嘿，謝謝！”。編輯發送的電子郵件。在我的裁判的報告逾期數月的情況下（令人慶幸的是，這種情況非常少），我要么沒有聽到編輯的什麼都沒有（我很ham愧地說，一旦我自己確定了一篇論文，我就會以為我幾個月來實際上已經整整一年了）或有禮貌地請我上交報告。事實發生之後，我從未得到過任何負面反饋。與GRE評分員不同，推薦人是志願者。

我發現（同樣，根據我的經驗和我的數學學術領域），幾乎沒有給推薦人更多的指導。比“ 1）運用您的最佳判斷力。2）我們是一本非常好的期刊，希望您施加高標準。”我還注意到，對於質量差異很大的期刊，有人說2）。 “強加高標準”是什麼意思？我認真地對待該指令，並儘我所能將鏡頭開到黑暗中，但是.....這當然是荒謬的，最大程度地是主觀的。

提交超載

我們寫的越來越多，典型的提交質量似乎正在下降。這有多種原因，包括不良激勵，尤其是在中國。如果您的薪水直接在文件上被接受，數量勝過質量……

恕我直言，我們現在已經接近臨界點。許多專家審稿人幾乎拒絕任何審閱請求-因為如此多的提交草率，以至於審閱它們很煩人。它應該有所不同：大多數提交的質量都應該很高，以至於您喜歡閱讀並且可以專注於細節。因此，越來越多的專家對此感到惱火。他們將更多的審查授權給學生，或者乾脆拒絕。但這現在意味著其餘的審閱者會收到更多請求和更多不良論文。就像大多數生態系統一樣，這可以迅速解決。

因此，編輯人員需要找到其他審稿人，我們的專家審稿人越來越少。這也為欺詐和計劃打開了大門。例如，多媒體工具和應用程序似乎已經成為編輯和審閱者操縱方案的犧牲品。

那麼，解決方案是什麼？我不知道。

• 使處理編輯和審閱者的名字公開，從而對已接受的論文負責。如果專家審稿人接受了該論文，他們通常會公開表示自己的評論（這曾經是某些領域的工作的實際認可）。這使得使用現代分析更容易發現腐敗和詭計。但這可能只會使尋找專家審稿人更加困難...
• 僅由一名審稿人進行第一次審閱（以減輕審閱人的負擔），可能的結果“過早拒絕”和“全面審閱” “。
• 要求作者對每份被接受的出版物進行5條評論（這樣，專家們就不能完全停止評論，除非他們退休-第一份出版物是“免費的”，但您不能繼續拒絕評論請求）？
• 實際上付錢給專家審稿人！一旦您確信提交是值得的，考慮到Elseviers荒唐的利潤，那應該是一個選擇。我認為這裡的主要問題是這裡所涉及的官僚制度（由誰來決定審查是否高質量）以及不同國家的工資成本不同。但是，結合以上預審，這將增加良好評價的“價值”。但這反過來又增加了從該評論中賺錢的計劃的風險。
• 評論評論，並頒發最佳評論者獎。
• 懲罰性重複拒絕，一拖再拖
• 限制每位作者和每一年的投稿數量（可能只是意味著這些投稿會流向其他地方-因此可能對特定期刊有用，但對整個社區沒有幫助）？
li>
• 禁止經濟刺激-如果您所在的國家/大學有直接的經濟刺激，則不允許您提交某些頂級期刊。然後，這些不良激勵措施將很快被廢除，因為它們往往還會要求獲得頂級期刊。但這可能只會導致付款延遲或被隱藏...我不知道。我不是政策專家。這些只是一些想法。

除了其他答案外，還提供了一個要點：

進入審核的不同級別的努力導致了不同的結果。

論文的撰寫方式通常是這樣的：初次閱讀時，即使進行更嚴格的深度閱讀和/或對參考文獻的檢查可能會發現漏洞，嚴重的方法問題以及對觀察到的結果的其他解釋，也應該閱讀“相當好”。有時，更費勁的評論可能會發現這些問題在適用於該特定論文的特定情況下實際上並不重要（儘管作者通常應將此內容添加到論文正文中）。

雖然由於系統依賴該知識而激勵審稿人做好工作，但通常不會激勵特定實例，並且有時會與缺乏睡眠和睡眠的審稿人一起進行最後一分鐘的審閱。長期從事其他工作，卻沒有努力進行良好的審查。因此，結果甚至可能與相同的論文在不同的時間被相同的審稿人審閱的結果完全不同。由於看不到影響該結果的因素，因此似乎是隨機的。

要解決以下問題：

幾年後，同一篇論文重新提交到同一期刊後，由於“嚴重的方法錯誤”而經常被拒絕

• 整個分析是一個自我實現的預言，即結果是一個假設。
• 建議的特徵是一個迴旋處測量更多瑣碎屬性的方法。 （這已經發生過兩次。）
• 一個提議的模型忽略了應該建模的主導機制。
• 整個研究都是關於了解一個著名初學者的人工製品的。錯誤（沒有發現錯誤）。

雖然我可能對這些事情有誤，但作者從未解決過我的擔憂，無論是在另一篇期刊上發表的論文的反駁還是版本中（在大多數情況下，從未發生過）–即使我錯了，這也是他們應該做的事情。

現在這些問題似乎看起來應該很容易發現，但顯然不是：我僅在撰寫實際評論時才發現其中一些缺陷，並且在與共同審閱的同事¹討論論文時，我目睹（並且表現出）了很多令人jaw目結舌的事情，我知道他是透徹的。另外，在某些情況下，我看到其他裁判的報告，這些報告原本是詳盡無遺的，但並未發現問題。

因此，可以得出結論：即使是基本缺陷也很難發現。特定的審閱者只有很少的機會發現論文中的特定缺陷。因此，所有審稿人都有很大的機會失敗。

^{¹是的，這是我所從事的領域，已被期刊完全接受。 sup>}

GRE論文定級與審閱要發表的科學論文之間的根本區別已經在先前的幾個答案中得到了有力的討論。

出版物。當論文被提交到期刊時，通常被認為是成品，或者在朝著既定目標邁出至少一步。很難找到能夠評估論文重要性並找到推理上的每個空白或技術上的缺陷的審稿人，但至少期刊論文的審稿人對某項研究有結果

潛在的諾貝爾論文可能會覆蓋人跡罕至的新材料或新材料，以至於很難對其進行公正的審查。幾年後重新提交的論文可能基於與此同時相當完善的程序或技術。因此，也許它們在原始提交時是最先進的，但就目前可用的方法而言，現在存在“嚴重缺陷”。因此，審閱者在這些任務上沒有獲得100％的評分就不足為奇了。

但是，儘管審稿人是無薪的，工作過度的志願者，沒有經過專門的培訓，也沒有關於審稿細節的反饋，但我認為令人驚訝的是，期刊審閱在實踐中的表現如何。

贈款。相比之下，對研究贈款做出判斷是完全不同的 一種活動。幾年前（當時可獲得比現在更高的美國聯邦資助），我在聯邦機構度過了幾年的預算，預算相當大，用於支持各種科學領域的基礎和應用研究。因此，我將嘗試簡要介紹一下圖片的這一部分。我首先要說的是，一個研究科學家小組會發現NIH（或任何其他美國政府機構）的資助“不比彩票好”，我一點也不感到驚訝。

通常來說，如果您確切地知道自己在做什麼，需要多長時間以及要花費多少，那麼您就無需進行研究。在評估提議者的成功記錄並提供一個粗略的想法，即提議者是否有能力進行特定領域的研究時，審閱者通常會很有用。 （我應該補充說，大多數計劃主管都非常了解他們使用的審閱者的標準，偏見，脆弱性和優勢。要求審閱的內容很少讓我感到驚訝，但很少有驚喜是非常有價值的。）但是，審稿人的意見只是圖片的一部分。

除了審稿人的意見之外，贈款機構中的計劃主管還必須考慮其他因素。他們必須在某種程度上考慮財務，政治和基礎設施因素。 “政治”通常是指專門撥款或捐款以支持特定的科學目標。基礎設施方面的關注可能集中在開發作為代理機構目標的技術，在研究人員不足的領域培訓研究生，請求資助的機構是否具有足夠的管理能力等。

在美國，NIH，NSF，DoE，EPA，各種國防機構和各種私人基金會等機構的目標可能有很大不同。但是這些機構顯然 任務和目標可能會在“建議書”中闡明，但贈款申請者通常會忽略它們，如果明確了適當的聯繫，他們可能會為他們的工作提供更好的理由。

儘管有這些限制，在授予贈款方面，項目主管竭力支持最高質量的科學，我相信他們通常會在此方面取得成功。以我的經驗，幾乎所有人都將自己視為科學家，其次是機構官僚。通常，他們的成功取決於審稿人的大力幫助，但有時卻不是。

當我在計算機科學專業讀研究生時，我注意到論文審閱過程中遇到了一些挑戰。我通過其他人的經驗觀察到的大多數事情：

1. 期刊和會議使用以前的作者社區來審閱論文。發布最多的人非常努力。他們可能沒有足夠的時間來很好地審查論文。如果論文中的材料是新穎，陌生，沉悶，技術含量高或不夠清晰，則這些因素使得不太可能對其進行審閱。
2. 該出版物最初選出的審稿人可以將向研究生復習任務。學生可能只是在學習閱讀和摘要該領域的研究論文。如果材料很困難，那麼經驗不足的審稿人可能無法對其進行適當的審閱，並且可能無法學會根據他們的理解程度來判斷自己的判斷。
3. 最有資格的審稿人通常對材料主題，可能會有非常不同的方法。當試圖了解不熟悉的工具來解決熟悉的問題時，可能會感覺到認知和情感上的不協調，以至於無法克服。當然，這項艱苦的工作可以在過程順利進行時為雙方帶來好處。
4. 成功的新方法甚至可以被視為對其他研究人員或整個社區的威脅。真正的突破將破壞其他人追求的研究領域。這就是堅決主張更高理由的理由之一。
5. 作者在期刊和會議中爭奪有限的空間。我聽說作者說他們覺得一篇論文由於一個自私的競爭對手進行了不公平的審查而被拒絕了。當然，他們通常不能肯定知道這一點。
6. 有時審稿人發表了有效的評論，但作者對工作的強烈情感依戀使他們拒絕了反饋。這可能使流程陷入僵局，即使是很強大的工作，也由於未糾正的缺陷而難以發布工作。我什至已經讀到了一些著名的論文。
ol>

對於大多數作者來說，發表論文是必不可少的專業活動，但是審閱論文則是一種社區服務。那總結了很多具體問題。