題:
研究人員為什麼不發布失敗的實驗?
user107
2012-03-15 10:01:05 UTC
view on stackexchange narkive permalink

以下內容可能是所有領域的略微概括,但是我注意到的東西尤其是在科學計算領域:

  1. 為什麼人們不公開失敗?我的意思是,如果他們嘗試了一些實驗並最終意識到他們嘗試了一切,但沒有任何效果。他們為什麼不發布這個?是因為這樣的內容無法發表,還是因為在獲獎的論文上在期刊上進行實驗失敗而感到可恥?

  2. 我花了很多時間一年的時間,現在看起來像是一個死問題。但是,我最初閱讀的大多數論文都使您感到樂觀。現在,我重新閱讀了這些論文,我意識到我可以(很有信心)說作者藏了些東西。例如,比較兩個系統的一位作者提供了出色的理論基礎,但是當他嘗試通過實驗驗證該理論時,實驗中存在可怕的差異(我現在意識到)。如果實驗不滿足該理論,為什麼不發表(明確指出該理論的哪些部分起作用,哪些不起作用),並節省一些未來的研究人員呢?如果不在期刊中,為什麼不使用ArXiv或自己的網站?

  3. ol>
這是開放科學的要點之一。您在博客或Wiki上發布了失敗的方法。我記得以前曾讀過,未發表的失敗研究(即藥物不做任何事情)正成為醫學研究某些部分的問題,現在大型的NIH研究(我認為)必須在數據庫中進行註冊,然後才能進行並包括在內。他們的結果,無論是否為陽性。不幸的是,我不記得它的來源:(。
不錯的清單Joel Reyes Noche。但是,在您提到的6種期刊中,排名前5的是針對負面結果的論文。最後一個是[Journal of Errology](http://www.bioflukes.com/JoE),旨在為通常被丟棄的每篇已發表論文後面的那些未發表的徒勞嘗試提供一種媒介。與大多數其他研究人員沒有時間發表的論文相比,這些論文更為常見,因為它們不會給他們的職業帶來任何好處。
我將在此處發表Selvin的其餘評論(以前是作為回答提交的,但由於未回答問題而進行了轉換):“這讓我想起了愛迪生的做法,他在其中列出了所有無效的清單。 ,後來這在很大程度上為他提供了幫助。想像一下,在沒有正確跟踪每個實驗的情況下進行了10,000個不同的實驗。這將是一場噩夢。”
我的論文研究是無效的。關於它的文章被引用了80多個。但這在粒子物理學中很常見,即對預期現象的發作設置限制。
(我將其發佈為答案,但被刪除,因為它並不是真正的答案。因此,作為評論發布)部分受此討論啟發,部分受我自己的經驗啟發,我們,一群計算科學研究人員正在組織一個名為“ E-science ReseaRch領先於負面結果(錯誤)”。該研討會將與2015年在德國慕尼黑舉行的eScience會議同期舉行。有關該研討會的更多信息,請參見http://press3.mcs.anl.gov/errorworkshop。
通常有可能將失敗轉變為肯定。例如,我知道有兩個實例,某人沒有完成xyz(如他們在贈款提案中所承諾的),但經過大量的思想和艱苦的工作,他們設法從中獲得了一份Nature論文,但沒有提及他們錯過了目標,意外地做了一些完全不同的事情。
我一直認為這是因為學者永遠不會犯錯誤。
我希望這個問題不是題外話,而是:如何使這些再研究論文不消失在空白中?如果每個人一年都發表4篇論文,這是否意味著您已經可以參考/引用自己的論文了,數量卻已經令人難以置信?地球上有大約10000個有學問的人,所以圓圈很小嗎?還是在某個中心數據庫中跟踪地球上所有可用的科學信息?我想知道如何對現有論文進行概述,所以您不必通過重複做同樣的事情來“浪費”時間
(是的,我知道此“重做”稱為“證明”,但這不是問題)
八 答案:
Joel Reyes Noche
2012-03-15 14:18:51 UTC
view on stackexchange narkive permalink

“為什麼人們不發布失敗?”

實際上,他們這樣做。

  1. 負面結果雜誌(生態學和進化論)生物學)
  2. 生物醫學陰性結果雜誌
  3. 藥物陰性結果雜誌
  4. 有趣的負面結果期刊(自然語言處理和機器學習)
  5. 環境科學負面結果期刊(沒有問題嗎?)
  6. 人體工學雜誌(沒有問題嗎?)
  7. ol>

    ,依此類推...

    (您可能還想看看腦血流&代謝雜誌的陰性結果部分

他們這樣做,但不經常這樣做,而且不在“標準期刊”中
這些期刊中很少有人收到很多投稿。這是可悲的,因為缺乏公開的複制嘗試是科學中最大的問題之一(請參見Ioannidis的經典論文,“為什麼大多數公開的研究發現都是錯誤的”)。需要進行改革以激發科學家進行和發表此類研究的更大動機。我們正在與出版商聯繫,討論一種新的期刊概念,其中僅對複制嘗試的研究計劃(方法和分析計劃)進行審核(https://plus.google.com/113040210411045341720/posts/BB2BnpHi8Tw),然後保證出版。
在本科生中,我們幻想著創建《美國失敗與迷思雜誌》。
我還想補充一點,就是對既定的理論觀念進行揭穿是非常值得發表的,即使在發表積極成果的期刊中也是如此。而且確實發生了(不幸的是,這種情況並不經常發生)。
還有一個實際的原因:撰寫*好的*論文(即使是負面的)也要花費時間和精力,這是大多數研究人員寧願花費的時間-例如,要獲得*陽性的*結果(也許希望發表這些論文)在更有聲望的場所)。
我看了看http://jinr.site.uottawa.ca/-吉姆死了!
Fomite
2012-03-15 11:53:00 UTC
view on stackexchange narkive permalink

很難發布空結果。他們就是。但是,有趣的是,在我的領域中,它們並不是發布最困難的東西。總的順序是:

發現人們期望的功能強大的(大型)研究
發現人們期望的功能強大的(小型)研究
發現人們期望的相反的強大研究期望結果或沒有結果
功能強大的研究發現人們期望的結果與之相反

在這兩個中間類別中,您會發現大多數“故障”,至少在發現故障方面具有統計意義的效果。話雖如此,越來越多的人要求出版這些類型的研究,因為它們是文獻的重要組成部分,並且一些醫學雜誌已經朝著這個方向邁出了相當顯著的一步-例如,如果他們接受有關 protocol 用於即將進行的臨床試驗,無論結果如何,他們還承諾發布試驗結果(如果通過同行評審)。

當涉及到該結果時,我認為,除了“很難”之外,沒有發布負面結果的三個原因是:

  1. 缺乏回報。撰寫一篇論文要耗費時間和精力。和金錢,通過時間和精力。大多數無效的發現/失敗都是死胡同-它們不會用於新的贈款提案,也不會成為您的名字的來源。您最好的希望是,它們在評論或薈萃分析文章中被引用過幾次。因此,在有限的時間範圍內,為什麼還要追逐那些結果呢?
  2. 缺乏拋光力。僅僅找到結果是發布結果的中間步驟,而不是“並因此出現在日誌中”步驟。通常,在準備發布某些東西時,很容易說出什麼時候沒有成功的東西-這些項目往往會被放棄。因此,儘管有“失敗”結果,但即使我們擔心失敗,它們也不是準備發布的結果。
  3. 許多失敗都是方法論上的。該研究設計無法真正解決您要提出的問題。您的數據不夠好。整個推理過程都是有缺陷的。 真的很難將其轉化為論文。
  4. ol>

    成功的論文可以發表自己的成功-很有趣。失敗的論文有雙重負擔,既難以發表 又不得不有趣地失敗。

我不清楚您列表中最難或最難發布的順序是什麼?
-1
這部分“發現人們期望的功能強大的(大型)研究發現人們期望的功能強大的(小型)研究發現與人們期望相反的功能強大的研究或無效發現”一點
@Stephanie啊,這更有意義。儘管難度可能是特定領域的,並且基於我曾經在演示文稿中看到的一張幻燈片,但它們的難度從最低到最難出版。
我最喜歡這個答案,因為它實際上回答了這個問題。沒有任何東西可以防止您發布失敗,但是這會花費時間,精力和金錢。需要您的注意,並且必須切入點。我還要補充一點:如果研究仍然顯示出某種成功的希望,那麼您不希望為研究付出太多。悲傷但有必要。
Stefano Borini
2012-03-15 10:19:53 UTC
view on stackexchange narkive permalink

未完全發布故障並非完全正確。信號不足或缺乏相關性被發表。關鍵是,推動知識前進的一切都值得發表。就是說,還必須考慮其他因素

  1. 某些故障是方法論上的,也就是說,您做錯了什麼。那不是科學信號。這是您必須解決的問題。
  2. 知道不起作用的地方會為您提供與其他研究小組相比的競爭優勢。
  3. 負信號幾乎永遠不會打開新的領域。如果這樣做的話,那是因為他們引導注意力在其他地方找到積極的信號。如果發現某種物質沒有作用,就不要打開新的癌症藥物開發。您關閉一個。因此,負面論文通常不會引起很多關注,在學術界,同行的關注也很多。
  4. ol>
有趣。但是,出版信息傳播的重點不是嗎?如果它關閉了一個領域,那就好!不再浪費時間。我也看到過很多戰爭出版物,例如弦理論家與其他理論家之間。或者GPU * fanboys *與多核GPU。但是沒有人反對他自己。
重點是@Nunoxic::讓其他人浪費時間,以便他們在忙著弄清自己已經學到的知識時,可以擊敗他們在他們面前發表論文。您認為學術界是一群嬉皮士嗎?
我能想到的一個非常重要的負面結果的最好例子是邁克爾森-莫利(Michaelson-Morley)實驗,完全打破了舊的以太理論的蓋子。大多數負面結果並沒有那麼吸引人。 :)
@StefanoBorini我認為這是相當悲觀的。我經常看到出版的醫學文獻顯示藥物沒有優勢/效果,這很重要。總的來說,我認為很多死胡同都沒有公佈,因為通常認為死胡同。有希望的結果(無論是正面的還是負面的)仍然需要很長時間才能最終確定,也許可以花更多的時間來追求更有希望的東西。
@Nunoxic-發布的重點不是它會激發您對研究的捐贈和興趣。如果您發表大量論文,說明如何搞砸了,浪費了數百萬甚至數千個贈款和私人資金,因為搞砸了,人們不太可能為您的下一個研究項目提供資金,並且可能會為自己的發展籌集資金。
@george-這是私營部門的研究。保險公司樂於分享可以節省資金的信息。您看不到他們發表的研究表明,花費更多錢的治療方法還會提供更多好處。這些來自醫生。
@StefanoBorini:是的,實際上,我們是一群嬉皮士。無論如何,我們中的一些人。
Ondrej
2012-03-15 18:26:28 UTC
view on stackexchange narkive permalink

不報告失敗的後果之一是發布偏見。這是一種被廣泛描述的現象,通常使用薈萃分析來處理。也就是說,如果研究涉及一些可量化的結果,例如一些(線性)回歸,通常需要統計顯著性。如果未達到這樣的結果,研究人員有時會嘗試調整其方法,模型,數據或其他方式,以便獲得更多的“可發布”結果。

模型調整或完全撤消模型的問題正如@Artem Kaznatcheev在評論中指出的,該論文(所謂的文件抽屜問題)在醫學上(在一定程度上還是一個問題),並在他補充說之後導致了發表前的試驗註冊。他的消息來源可能有所不同,但是描述它的論文例如 Krakovsky(2004)

更一般地,請查看 Stanley(2005) Stanley(2008)了解更多信息發表偏見和薈萃分析。

Bravo
2012-03-15 11:24:31 UTC
view on stackexchange narkive permalink

有時,某些失敗本身也會引發新的理論。例如,機制設計中存在不可能定理(Arrow或Gibbard-Satterthwaite),這些定律確定了可實施機制的局限性。人們有興趣知道為什麼事情會失敗,或者哪種類型的實驗/理論會失敗。但是,朝著這個方向前進通常充滿風險:陳述問題和解決問題要容易得多,而不是無法解決問題時就得出條件。因此,最重要的是:嘗試對失敗進行形式化或理論化,看看結果是否隱隱約約;

否則,繼續嘗試解決更有價值的問題。

Mark Hahnel
2012-04-10 15:22:26 UTC
view on stackexchange narkive permalink

我認為這取決於所花費的時間。我個人不願意花2天的時間來撰寫和格式化負面數據的論文。它確實需要非常簡單,我要么需要為此而獲得榮譽,要么需要被授權這樣做。他們的研究成果只是時間問題。同時,高度測量法可以像胡蘿蔔一樣鼓勵研究人員共享數據,甚至是負面信息。

lynxoid
2012-03-19 02:12:46 UTC
view on stackexchange narkive permalink

如果您讀了很多文獻,然後意識到自己陷入死胡同,則可以至少發表關於所學到的所有方法和技巧的評論。

uli
2015-04-02 19:03:20 UTC
view on stackexchange narkive permalink

有未解決問題日記 JunQ。他們收集“無效”結果研究和未解決的問題。



該問答將自動從英語翻譯而來。原始內容可在stackexchange上找到,我們感謝它分發的cc by-sa 3.0許可。
Loading...