題:
我有強烈的懷疑和虛弱的證據證明論文中的數據是偽造的。該怎麼辦?
Marco Capitani
2017-12-08 21:06:52 UTC
view on stackexchange narkive permalink

我查看了為一本小雜誌提交的論文。它提出了一種執行分配任務的算法,並將其性能與文獻中以幾種方式執行同一任務的其他幾種算法的性能進行了比較(結果,即分配,可以根據幾種不同資源的使用情況進行評估,因此

我的觀點是,儘管算法表現不佳且論文幾乎不可理解,但所呈現的結果似乎很好,因此作者應該再作一次更好的解釋,所以我不建議完全拒絕。

第一輪審核通過了一致的“重大修訂”裁決。

然後,我也被要求審查論文的第二次提交版本。在此新版本中,該算法已與更廣泛的算法進行了比較。問題是:即使將要比較的算法進行了更改,比較圖仍然完全相同,並且並排查看它們並沒有發現任何差異(未提供明確的數值數據)

更糟糕的是,這種變化甚至不是一對一的。在第一個提交中,將該算法(簡稱為A)與所有類別(資源A使用情況,資源B使用情況等)中相同的其他三個算法進行了比較,而在第二個提交中,每個資源比較都涉及不同的算法,因此例如,在資源A利用率中將A與B,C和D進行了比較,但在資源B利用率中將A與C,E和F進行了比較,依此類推。

不過,第二個提交中的每個圖表

在這一點上,我可以肯定的是,至少第二輪比較是完全偽造的,即作者只是更改了圖表上的標籤。

>

向我的一位高級同事求教時,我被建議不要理會這個問題,而要引起騷動,因為這個問題極有可能引起反省:我們不是學術機構,我們是相當漂亮的R&D部門小型私人公司,因此我們的政治權重科學聲譽很小。 ,因為我們是多個政府資助項目的合作夥伴,或者我應該聽取同事的建議。

儘管該論文的發表機會很少,因為第二次提交的論文也幾乎不可讀,該論文的合著者的h指數非常高(100+),因此我覺得,如果我懷疑我的懷疑,那麼就應該予以揭露。

我不知道審閱論文會適得其反。您為“一家很小的,沒有政治影響力和科學聲譽的小型私人公司”工作似乎無關緊要。我也不明白為什麼與編輯有業務關係會影響您的評論。
好吧,我不確定自己。我進入該領域已經不超過一年,所以您的評論實際上是對我的問題的答案的一半(或更確切地說,是最好的部分):)
回复:user2768的評論:相反,我認為如果要對政治/關係進行任何損害,那麼當編輯者部分地依靠您的幫助進行審閱時,可以讓已知的錯誤/欺詐從頭到尾進行。
我在這裡同意@DanielR.Collins的觀點-讓潛在的欺詐性紙張通過會讓您承擔同樣的風險。通過詢問更多信息,您會顯得(並且正在)徹底;勝於被視為無知或粗心的人。
這種差異似乎可能會無意中產生;他們是否有可能趕出修訂的文件,而只是偶然地誤貼了圖表標籤?
@MarcoCapitani如果您要讓這樣的事情過去,為什麼還要打擾您呢?如果您沒有能力指出重大問題,那麼複查似乎是對您時間的特別浪費。
有很多答案告訴編輯。很少說什麼告訴作者。您可能想請作者(在他們看到的評論部分中)以補充上傳的形式提供原始數據和/或擴展方法以反映他們測量數據的方式。這可能會幫助您更多地了解數據來源。不過,最簡單的方法就是為拒絕辯護...
您說“沒有提供明確的數值數據”。我認為,可靠的性能比較肯定需要包含顯式數字。
七 答案:
user24098
2017-12-08 22:30:00 UTC
view on stackexchange narkive permalink

您絕對應該報告您的擔憂,但要秉承誠實原則。

這聽起來確實是一個重大問題。但是,捏造數據是非常嚴重的(甚至是職業生涯終結)指控。沒有非常有力的證據,您不應該指責某人,在這種情況下,我認為您也沒有。可能有一個無辜的解釋。

  • 您可能誤解了他們在做什麼。例如,他們沒有運行所有新測試,而是對算法使用了相同的結果,然後將其與不同的算法進行了比較? (我不確定這個問題是否可行)。
  • 這可能是一個簡單的錯誤。例如,如果他們不小心打開了錯誤的圖像文件並為其添加了標籤,該怎麼辦?

我會提出這個問題,但是與其說“這看起來是假的”,不如說: / p>

作者聲稱進行了新的比較,但是圖形上的結果與之前的草案完全相同。我不知道這怎麼可能是正確的。他們可以解釋一下,或者在必要時更正圖表嗎?

您應該做的另一件事是詢問更詳細的結果以及有關其方法的更多信息。聽起來他們報告自己所做的事情還遠遠不夠。他們如何響應此請求可能會提供更多證據,證明結果是否為偽造。如果他們無法令人信服地解釋這些奇怪的結果並不能完整地描述他們的方法,那麼您至少應該向編輯提出建議。不過,我認為您沒有足夠的理由這樣做。

如果要採取進一步的措施,那將是編輯者的責任。 在這種情況下,出版道德委員會向編輯推薦的內容是。如果作者不能令人滿意地解釋自己,則應向其機構提出報告並進行調查。

這個。我敢肯定我不是唯一將錯誤的圖表/表格/附件粘貼到重要文檔中的人。
是;顧慮是正確的,但它很有可能是錯誤而不是故意的。
如果他們無法令人信服地解釋奇怪的結果並充分描述他們的方法,您是否甚至需要引起對偽造數據的關注?似乎僅憑這一點就可以拒絕。
更外交的是:“看來他們犯了一個錯誤,並將新標籤貼在了舊的比較圖上。”
@jpmc26製造數據所帶來的後果不應該被拒絕。實際上,這可能是不可能的,但是要由編輯採取進一步的行動,因此,我認為在有充分理由懷疑欺詐的情況下,通知編輯是盡職調查。
我也將使用Hanlon的Razor,但我還要向編輯者提及,比較圖看起來確實與第一篇論文相抵觸,並且很難判斷哪一種是正確的,因為似乎還不夠。實際比較的信息,以確認您自己的結果。同樣,可能有一個無辜的解釋,但應再次檢查。
-1
@QPaysTaxes如果他們的回答是:“我們在創建新圖形時犯了一個錯誤。這是更正後的版本。”這是令人信服的解釋,不會屬於我要詢問的類別。
Konrad Rudolph
2017-12-08 22:26:42 UTC
view on stackexchange narkive permalink

大多數(全部?)同行評審過程使您可以向編輯寫私人筆記,而紙作者沒有看到。以此來引起您對編輯的關注,並提供證據的詳細說明。結果(從您的描述看來):如果數據不是偽造的,那麼作者應該毫不費力地詳細描述該方法,以使讀者能夠完全對其進行概括。

實際上,僅在本文中您對模糊結果的描述就是要求適當修改的理由。

要針對您的高級同事的評論:這是錯誤的。數據製作嚴重違反了研究道德。作為審稿人,無論稿件的拒絕狀態如何,您都不能在任何情況下讓它滑動。

user80454
2017-12-08 22:30:48 UTC
view on stackexchange narkive permalink

不幸的是,作為匿名日記審稿人,您成為欺負某人而沒有任何反響的機會要比作為學術界.stackexchange的最糟糕主持人要好得多。 ;-)更嚴重:不用擔心,如果您的舉報是匿名的,只需提出批評。如果您的舉報不是匿名的(很少),則與寫一封好看的推薦信(在其實際內容中實際上“有點可疑”)時做同樣的事情。

在任何情況下,與絕大多數研究級裁判員相比,您的評價要好得多

我建議您從答案中刪除有關stackexchange mods的段落。我看不出它與問題有什麼關係。
Scientist
2017-12-09 20:25:53 UTC
view on stackexchange narkive permalink

到目前為止,我已經作為審稿人撰寫了40多篇論文。在大多數情況下,我建議(或“提示”,因為只要有可能,我寧願不告訴編輯該怎麼做)拒絕該論文。我已經簽署了三分之一的評論,但是我只簽署了一次負面評論。我正在努力更頻繁地簽署評論。

我知道可能會有一些反彈。多於預期。不幸的是,如今有太多的編輯與作者有聯繫,有些作家根本不能受到批評。我不簽署所有評論的主要原因是擔心會遭到強烈反對,尤其是因為我仍然是一名博士後。因此,請在下面找到我的建議。

公開提出重複圖像的問題,並強調以下事實:提交的內容已具有其原始形式的嚴重問題。評論新提交文件的其他方面,然後冷淡地完成您的評論。如果系統強迫您提出建議,請選擇拒絕。我相信您有充分的理由拒絕論文,只要有機會,該論文就不會有顯著改善,對此也不應有任何不滿。只是不要到處指責作者對重複圖像的不當行為,因為草率的行為不是欺詐。如果您只是必須的話,請私下向編輯暗示一些問題,但是在您的位置,由於您提到的潛在衝突,我會避免這種情況。

cybernard
2017-12-11 05:14:00 UTC
view on stackexchange narkive permalink

“第二次提交的內容也幾乎不可讀”

這本身似乎是完全拒絕它的原因。

要么:

  1. 這是不可讀的垃圾(立即拒絕!)
  2. 主題可能太複雜了,您無法理解。
  3. ol>

    我會嘗試向其他人詢問本文其餘部分的內容,以了解是否有人理解其中的任何內容。在該研究領域中找到一些熟練的技術人員。

    作者未能理解“主要修訂”的定義,請發回以獲取更多主要修訂。

    如果讓垃圾通過,您將永遠不會受科學推崇。

這聽起來像是建議找藉口拒絕論文,而不是表達OP的真正擔憂。
Dragan Juric
2017-12-11 23:06:55 UTC
view on stackexchange narkive permalink

考慮到該論文描述了算法,顧名思義,作者並沒有隱藏它……所以為什麼不僅僅要求作者向您發送源代碼(而不是二進製文件),而是向您發送可以構建的實際源代碼,運行並因此自己創建數據?

來源應不僅包括他的算法,而且還包括本文中用於比較的所有其他算法。

然後比較數據您從運行他的代碼與文件中的數據得到的結果來看,是否有任何區別。

IMO這應該是任何有關算法的文件的標準-提交任何人都可以構建和運行的源代碼證明這一點。

您還可以針對源中使用和不允許使用的內容建立標準,以便您(或其他任何人)可以輕鬆構建它而無需專有庫。例如,“ VS 2017社區版-C ++或C#”或Python或Java可能涵蓋了99%的此類情況。

mathreadler
2017-12-09 06:48:30 UTC
view on stackexchange narkive permalink

這就是為什麼我們對科學有可重複性的要求。所測量的任何內容都必須由其他人獨立驗證。一遍又一遍...

但是,如果聲明不被任何地方的公開接受,那麼社區甚至都不會知道如何驗證或反駁。想像一下Mickelson-Morleys的論文,例如測量到處都被拒絕的光速。顯然是不好的。

@dan1111為什麼要猜測何時可以閱讀所寫內容?
抱歉,這是美國口語化,我實際上沒有猜測。我的意思是,您的答案的邏輯結論似乎是完全不應該進行同行評審。如果假冒實驗不是阻止發表的理由,那麼可能是什麼原因呢?
懷疑數據是一回事。所獲得的數據看起來很奇怪,原因可能有多種。也許他們使用了錯誤的設備,也許他們使用了錯誤的設備。也許他們無法描述他們在實驗中實際做了什麼。 但是完全有可能在沒有做任何錯誤的情況下獲得令人驚訝的結果。在任何意義上,假設惡意很少是前進的方向...
我同意,我從第一句話中就以“假設誠實”開始了我的回答。但是我認為他們需要在發布奇異數據之前用證據備份。如果他們可以完全記錄他們如何獲得結果,那麼可以,即使結果難以解釋,也可以將其發布。但是您的回答似乎暗示它應該被接受發布而無需任何進一步的檢查。
可以肯定的是,您對“尋找隱含內容”的渴望不會使我希望您成為審閱者。
OP詢問“作為審稿人我應該做什麼?”並且您回答“該作品需要發布,以便其他人可以對其進行驗證”(不以任何方式限定該作品)。應該從中得出什麼結論?
@mathreadler這是堆棧交換,不是科學。我們有興趣回答頁面頂部的問題,而不是爭論科學應該如何做。
可再現性和驗證要求發表論文來充分解釋結果是如何產生的,這正是我在此提倡的。


該問答將自動從英語翻譯而來。原始內容可在stackexchange上找到,我們感謝它分發的cc by-sa 3.0許可。
Loading...