从大学教授，到Stack Overflow，可谓是苦ChatGPT久矣。现在，无论是老师看到学生提交的论文，还是码农看到网上的代码，都不敢确定作者是人还是AI。來源：新智元
終於，AI檢測器總算是被OpenAI給憋出來了。
群衆的討伐聲浪一重又一重，OpenAI終於頂不住了。
從大學教授，到Stack Overflow，可謂是苦ChatGPT久矣。現在，無論是老師看到學生提交的論文，還是碼農看到網上的代碼，都不敢確定作者是人還是AI。
口誅筆伐之下，OpenAI頂不住了，火速發佈了一款AI檢測器。
左右互搏：OpenAI發佈ChatGPT檢測器
剛剛，OpenAI官宣了自家的AI文本分類器。
它是一個經過微調的GPT模型，可以推斷一段文本由AI產生的可能性。
有趣的是，ChatGPT也是基於GPT模型，用這個分類器檢測ChatGPT，堪稱左右互搏。
在訓練上，這個模型採用的是同一主題下的人類手寫和AI生成的文本對。
用到的素材來自於維基百科數據集、2019年收集的WebText數據集，以及在訓練InstructGPT時收集的一組人類演示。
但是吧，這個正確率着實不高……
在評估「挑戰集」中的英語文本時，分類器只將26%的AI生成文本正確地歸類爲「可能是AI寫的」（真陽性）。
「撩妹神器」還靈不？
毫無疑問，ChatGPT正在全世界掀起一股颶風。
學生們紛紛用得不亦樂乎，媒體驚呼「教育系統」已經被顛覆，最近的調查顯示，已經有89%的大學生用ChatGPT寫作業了。
此外，它還通過了美國醫學執照考試、沃頓商學院MBA考試和4門法學院的考試，能力簡直要通天；美版「頭條」BuzzFeed宣佈要用ChatGPT寫文的消息後，股價瘋狂暴漲119%。
而妙筆生花的文采，也讓ChatGPT被很多小哥奉爲「撩妹神器」。
雖然做數學題不太靈，但想要讓它寫下一篇文采斐然、深情款款的情書，那可真是so easy。
這不，國外的這位小哥，就沉迷於用ChatGPT給老婆Monika寫情書。
然而Monika早已看穿他的套路，警告他別再沉迷ChatGPT無法自拔。
還有玩得大的哥們，把ChatGPT生成的情書發給了好基友，好基友直接一臉黑人問號。
雖然但是，可以看出，ChatGPT的文采相當不錯。論文、情書、小說，ChatGPT都不在話下。難怪大家都在瘋狂用ChatGPT「造文」。
那OpenAI發佈的官方AI檢測器，究竟有多管用呢？
咱們來實測一下。
先試一試Monika的老公發給她的情詩。
然而遺憾的是，OpenAI表示自己只能檢測1000字符以上的文章，愛莫能助……
翻譯一下：至少需要1000字符，也就是150-250個英文單詞。而對於中文來說，就只能是「千字長文」了。
的確，OpenAI的官方公告裏也說，「分類器對於短文本（少於 1,000 個字符）的檢測非常不可靠。甚至更長的文本有時會被分類器錯誤地標記。」
除此之外，OpenAI的檢測器還有幾個「限制」：
分類器並不總是準確的，它可能會錯誤地標記AI生成的和人類寫的文本，並且語氣很自信
建議僅對英文文本使用分類器。它在其他語言上的表現要差得多，並且在代碼上不可靠
它無法可靠地識別非常可預測的文本。例如，無法預測前1000個素數的列表是由AI還是人類寫的，因爲正確答案總是相同的
AI生成的文本，經過編輯之後很可能會規避掉分類器的檢測
如果輸入與訓練集中的文本有很大的區別，分類器會做出錯誤判斷
既然檢測器要長文，那咱們就給它個長的。小編組合了一篇王小波情書選段，全文共1027個字。
輸入檢測器後，它給出了判斷：這篇情書是人類寫的。Bingo！
然後，小編又讓ChatGPT模仿王小波，生成新的情書。
可以看到，ChatGPT寫的情書文采還行，但比起大作家的文字，它真的沒有「靈魂」。
而檢測器也準確測出來，這封情書大概率就是AI生成的。
結果的劃分超細
具體來說，分類器會將輸入文本分爲五類：
「非常不可能是AI生成的」（Very unlikely to be AI-generated）
分類器的閾值<0.1。在「挑戰集」集中，大約5%的手寫文本和2%的AI生成文本有這個標註。
「不太可能是AI生成的」（Unlikely to be AI-generated）
分類器的閾值在0.1到0.45之間。在「挑戰集」中，大約15%的手寫文本和10%的AI生成文本有這個標註。
「不清楚是否是AI寫的」（Unclear if it is AI writte）
分類器的閾值在0.45到0.9之間。在「挑戰集」中，大約50%的手寫文本和34%的AI生成文本有這個標註。
「可能是AI生成的」（Possibly AI-generated）
分類器的閾值在0.9到0.98之間。在「挑戰集」中，大約21%的手寫文本和28%的AI生成文本有這個標註。
「很可能是AI生成的」（Likely AI-generated）
分類器的閾值>0.98。在「挑戰集」中，大約9%的手寫文本和26%的AI生成文本有這個標註。
可靠性有待加強
雖然分類器可以識別大部分AI生成的文本，但OpenAI提醒稱，它並不「完全可靠」。
在曲線下面積（AUC）測試中，分類器在驗證集中達到了0.97分，在挑戰集中達到了0.66分，而此前公佈的分類器在驗證集中達到了0.95分，在挑戰集中達到了0.43分。
此外，隨着語言模型規模的增大，分類器的性能出現了下降。
但好消息是，這意味着大型語言模型所生成的文本，更像人類寫的。
同時，OpenAI還特別指出，這個分類器還沒有在謠言、學生作文或聊天記錄上進行評估；也沒有在AI和人類共同撰寫的文本上進行測試，而這也是現在最常見的使用場景之一。
這麼看來，還是普林斯頓大學那位22歲華人小哥開發的GPTZero更人性化一些。
不僅只需250個字符，而且還能明確地指出一段文字中，哪段是AI生成的，哪段是人類寫的。
AIGC大廠自研「AI檢測器」實測
在OpenAI發佈官方「AI檢測器」以前，市面上早就有了多款AI檢測器。
來自美國的作家和計算機科學家David Gewirtz，就親自測試了三款在線AI檢測器。
這裏最有趣的一點在於，其中有兩個都是販賣AI生成文本的網站自己做的。
注意：人寫的是普通字體，AI生成的是斜體。每段文字後，會顯示檢測器的結果。（實際輸入檢測器的文本都是英文文字，本文爲翻譯後的結果）。
順便一提，這位David Gewirtz還是FBI InfraGard的成員，以及美國重要的網絡安全專家之一。此前，他曾在伍斯特理工學院以優異的成績獲得理學士學位，但在加州大學伯克利分校讀博士時退學。
測試開始！
1. 解釋爲什麼ChatGPT造成的抄襲會給教師和編輯帶來困擾
ChatGPT是OpenAI開發的GPT（Generative Pre-trained Transformer）語言模型的一個變體。它被設計爲通過預測給定輸入序列中的下一個單詞或短語，來生成類似人類的文本。雖然ChatGPT可以成爲生成文本和響應提示的有用工具，但在涉及到抄襲時，它也會給教師和編輯帶來問題。
ChatGPT會給教師和編輯帶來問題的主要原因之一是，它可以生成與真實人類非常相似的文本。這意味着人們有可能使用ChatGPT生成文本，然後將其作爲自己的作品提交，從而犯下抄襲的錯誤。
對於教師和編輯來說，檢測一段特定的文本是由ChatGPT生成的還是由人寫的，可能非常困難，因爲生成的文本可能不包含任何明顯的錯誤或差異，能讓人辨別出它的來源。這可能會使教師和編輯難以識別和防止抄襲，因爲他們可能無法分辨出某段文字是原創的，還是從其他來源複製的。
總的來說，ChatGPT和其他類似的語言模型在涉及到抄襲時，可能會成爲教師和編輯的問題，因爲它們可以生成難以區分的文本，使人們更容易進行抄襲，而不被發現。
GPT-2 Output Detector：99.69%真的。
Writer AI Content Detector：97%是人類生成的內容，妙不可言！
Content at Scale AI Content Detection：87%人類得分，看起來不錯！
2. 告訴我至少三種方法，用來檢測一篇文章是否是用ChatGPT生成的
有幾種方法可以檢測出ChatGPT或其他語言模型是否被用於生成一段文本。以下是你可以使用的三種潛在方法。
1. 尋找文本中的重複或異常模式：檢測一個語言模型是否被用來生成一段文本的方法之一，是尋找寫作中的重複或不尋常的模式。例如，語言模型可能會重複某些短語或單詞組合，或使用不尋常或不一致的句子結構。
2. 檢查是否缺乏原創性：另一種檢測語言模型是否被用來生成一段文本的方法，是檢查寫作中是否缺乏原創性。如果一段文本看起來是從其他來源複製的，或者如果它包含在互聯網上或其他來源中廣泛存在的信息，這可能就表明，它是由語言模型生成的。
3. 使用抄襲檢查器：最後，你可以使用抄襲檢查器，來檢查一段文字是否是從另一個來源抄襲的。雖然抄襲檢查器可能無法明確確定文中是否使用了語言模型，但它可以幫助你識別從其他來源抄襲或轉述的情況。
請記住，要明確地確定是否使用了語言模型來生成一段文本是很困難的，這些方法並不總是有效。然而，它們可以成爲有用的工具，幫助你識別語言模型生成文本的潛在實例。
GPT-2 Output Detector：99.98%假的。
Writer AI Content Detector：「無結果」。
Content at Scale AI Content Detection：0%人類得分，顯然是AI。
3. 列出三個可以檢測ChatGPT文本的抄襲檢查器
值得注意的是，目前還沒有專門的抄襲檢查器，用於檢測由ChatGPT或其他語言模型生成的文本。雖然一些抄襲檢查器可能能夠識別語言模型生成文本的某些特徵，從而證明文本來自AI，但不能保證它們能夠明確地確定，一段文本是否是由語言模型生成的。
因此，這裏有三個抄襲檢查器，你可以考慮使用它們，來幫助識別語言模型生成文本的潛在實例：
1. Turnitin：Turnitin是一個流行的抄襲檢查器，被學校和大學廣泛使用。它將一段文本與其他文本的數據庫進行比較，以確定是否文本是否是抄襲或轉述的。雖然它可能無法明確地確定一段文本是否由語言模型生成，但它有可能識別出語言模型生成文本的某些特徵，從而證明它是由AI生成的。
2. PlagScan：PlagScan是另一個抄襲檢查器，它將一段文本與其他文本的數據庫進行比較，以識別抄襲或轉述的情況。與Turnitin一樣，它可能能夠識別語言模型生成文本的某些特徵，這些特徵可能表明文本是AI生成的，但它不是專門用來檢測語言模型生成文本的工具。
3. Copyleaks：Copyleaks是一個抄襲檢查器，它使用先進的機器學習算法來掃描一段文本，並將其與其他文本的數據庫進行比較，以識別抄襲或轉述的情況。雖然它可能能夠識別語言模型生成文本的某些特徵，但它不是專門爲檢測語言模型生成文本而設計的。
值得注意的是，沒有任何一個抄襲檢查器是完全萬無一失的，總有一些語言模型生成的文本能夠逃過檢測。因此，重要的是，使用抄襲檢查器只能是一個補充手段。
GPT-2 Output Detector：99.62%真的。
Writer AI Content Detector：「無結果」。
Content at Scale AI Content Detection：86%人類得分，看起來不錯！
4. 在線人工智能抄襲檢查器
大多數抄襲檢測器的原理，是將文本與其他語料庫進行比較。例如，當學生交出一篇論文時，像Turnitin這樣的產品會對照其數據庫中巨大的論文庫，以及互聯網上的其他文本，以確定提交的論文是否包含已經寫好的內容。
但AI寫作工具會產生原創內容，至少在理論上如此。是的，它們會從訓練的數據集中構建內容，但它們創造出的詞語，在每篇文章中都是獨特的。
因此，上面提到的抄襲檢查器可能不會起作用，因爲AI生成的內容並不太可能存在於另一個學生的論文中。
因此，我在谷歌上搜索了專門用於尋找AI生成內容的檢測器。我找到了三個。對於下面截圖中的測試內容，我向ChatGPT提出了這個問題：「《星際迷航》比《星球大戰》好嗎？」它的答案一點也不差，我把這個答案反饋給三個檢測器。
GPT-2 Output Detector：99.98%真的。
Writer AI Content Detector：100%是人類生成的內容，太棒了！
Content at Scale AI Content Detection：100%人類得分，看起來很好！
結果評價
省流：
OpenAI此前針對GPT-2打造的檢測器，時不時會被新模型生成的內容欺騙。
由那些販賣AI生成內容的公司打造的「檢測器」，基本上都不咋靠譜。
1. GPT-2 Output Detector（準確率66%）
GPT-2 Output Detector是OpenAI自己搞出來的「查重」工具。
雖然最初是爲GPT-2打造的，但現在拿來檢測各種由AI生成的文本，也能獲得不錯的效果。在共計六次的測試中，它答對了其中的四個。
2. Writer AI Content Detector （準確性33%）
Writer.com主要是爲企業團隊提供生成式AI寫作服務，其中一個名爲「AI內容檢測器」的工具，可用於判斷內容是否是AI生成的。
但不幸的是，這個工具非常不可靠。在共計六次的測試中，它只成功運行了三次……而在這僅有的三次結果中，有兩次判斷正確，一次判斷錯誤。
3. Content at Scale AI Content Detection（準確率50%）
第三個工具也是由一個AI內容生成公司製作的，從結果上來看比剛才那個要靠譜不少，但整體效果還是一般。
Content at Scale的營銷口號是：「只需上傳一個關鍵詞列表，就能獲得繞過AI內容檢測的文章——所有這些都不需要人工干預！」在共計六次的測試中，它有三次是準確的。
一些思考（AI也有參與lol）
AI導致的抄襲已經日趨嚴重了，因爲像Notion AI和ChatGPT這樣的AI，生成的文本和人類所寫的幾乎難以區分。
有幾種方法可以檢測出一段文本是否由AI生成，例如尋找重複或不尋常的模式，檢查是否缺乏原創性，或使用抄襲檢查器。
像Turnitin、PlagScan和Copyleaks這樣的剽竊檢查器，可能能夠識別語言模型生成文本的某些特徵，但它們並非萬無一失。
在這一點上，我們可能還沒有準備好讓AI對抗AI。相反，我們依然需要依靠人類的感知，來識別某個作品是不是由AI生成的。
對此，你怎麼看呢？
你是否用過這些AI工具？又是否能分辨出一篇文章到底是不是由AI生成的？你覺得它們對產業是幫助還是阻礙？
歡迎大家到文末留言。
以下是ChatGPT的回答：
作爲一個語言模型，我無法看到，所以我無法判斷一篇文章是否是AI生成的。
但是，我可以告訴你，現在有幾個AI寫作工具，它們可以用來生成各種各樣的書面內容，包括新聞文章、小說、詩歌等等。
我沒有使用這些工具的個人經驗，因爲我只是一個電腦程序，沒有能力瀏覽互聯網或使用實體工具。然而，我可以告訴你，有些人發現AI寫作工具對教育和新聞業很有幫助，因爲它們可以通過自動完成某些任務，來節省人們的時間和精力。其他人則對這些工具可能被用來製作誤導性或有偏見的內容，或取代人類作家表示擔憂。
歸根結底，AI寫作工具是幫助還是阻礙，取決於它們的使用方式和使用環境。所以，是的，就是這樣。
在這個過程中，David發現了很有趣的一點：不要一在網上看到某些蠢話，或者不正確的話，就立即認爲這是AI寫的。
David表示，衆所周知，人類是完全有能力自己寫出垃圾內容的。
畢竟，不管生成內容的是人還是機器，愚蠢向來是一種普遍特徵。
編輯/Viola
