抽象技術插圖:一整面密集的淺灰色網頁卡片牆,其中大多數毫無動靜,約每十二張就有一張散發琥珀色光芒。細細的琥珀色線條從發光的卡片延伸至一塊大型的米白色答案面板,面板上有三條灰色佔位條。面板下方懸掛著一排六個圓形電話圖示,每個圖示都以不同方式呈現相同的佔位數字 1234567——原樣連續、加空格、加點、被小符號隔開,以及以三位數區碼加括號標示。一條虛線從答案面板向下延伸至一個沒有任何五官的樸素匿名使用者剪影。左下角有一個小型大寫標籤寫著 'DARK SOURCERY'。圖片中沒有出現任何標誌,也沒有出現真實的電話號碼。
AI Safety Incidents

暗黑巫術:被下毒的網頁、374 個品牌,以及無人查證的答案

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

2026年9月23日,安全公司 Vigilance Security 發表研究,描述一場其稱為 Dark Sourcery 的活躍攻擊行動:攻擊者向開放網路大量投放經過最佳化的貼文、PDF、評論與假客服頁面,使 ChatGPT、Google Gemini 與 Google AI Overviews 將詐騙電話號碼、電子郵件地址與登入頁面當成某公司的官方聯絡資訊回傳。Dark Reading 同日報導了這項研究,指出至少有 374 家公司捲入其中,包括 Delta、Lufthansa、Qatar Airways、Chase、Bank of America、Airbnb 與 TripAdvisor,其背後有數以萬計的惡意頁面。沒有模型被入侵——被投毒的頁面就只是模型所讀到的內容,而詐騙是帶著助理自身的可信度到來的。這筆記錄是OrcaRouter AI Incident Archive中的一則條目,該檔案以與此處相同的欄位追蹤 AI 事件與研究發現:嚴重程度、信心程度、爭議狀態與實際危害。

Vigilance Security 實際發布了什麼

這項研究是 Vigilance 研究副總裁 Ariel Simon 於 2026 年 9 月 23 日發表的 Medium 文章,標題為〈Dark Sourcery:駭客如何操縱 AI 來詐騙你〉。Dark Reading 的報導由特約撰稿人 Elizabeth Montalbano 撰寫,時間戳為當天 14:47 UTC,直接連結到該文章,並通篇引用 Simon 的說法。該文章描述的是一種內容操作,而非漏洞利用:沒有利用任何漏洞,攻擊者沒有直接竊取任何憑證,也沒有向模型送出任何模型能學會拒絕的內容。

Vigilance 表示,它已識別出「數以萬計的惡意頁面」,這些頁面包含虛假客服電話號碼、電子郵件地址、登入頁面、軟體更新資訊及其他詐騙細節,其設計目的是影響聊天機器人的回答內容。該公司指出,遭波及的企業「至少 374 家」,並稱其中包含《財富》百大企業、大型航空公司、銀行、旅遊公司與軟體供應商。《Dark Reading》報導中點名的品牌包括達美航空、漢莎航空、卡達航空、大通銀行、美國銀行、Airbnb 與 TripAdvisor。

無論是研究貼文還是後續報導,都沒有提供按品牌劃分的細目——哪個假號碼屬於哪家公司、有多少個被毒化的頁面針對各家公司,或任何個別頁面是何時上線的。374 這個數字是以總數呈現,紀錄也以同樣方式記載。

{{1}}Simon{{/1}} 也引用了 {{2}}Exploding Topics{{/2}} 於 2026 年 8 月發表的一項研究,該研究發現,使用 AI 聊天機器人的人中有 91% 不會查證所提供的答案。這個數字是該活動的前提,而非其測量結果:它在研究中被引用,並被 {{3}}Dark Reading{{/3}} 與 {{4}}IANS{{/4}} 重複提及,而本文所檢視的任何報導均未說明其自身的方法論。用 {{1}}Simon{{/1}} 的話來說,「如果攻擊者控制了 AI,而我們盲目信任它,他們基本上就控制了我們。」

Screenshot of the IANS news article 'Dark Sourcery Campaign Manipulates AI Chatbot Answers to Scam Users', bylined to Nuria Díaz Munoz and dated September 24, 2026, with faculty contributors Josh More and George Gerchow. The visible Key Points read: threat actors are using SEO to manipulate AI chatbot answers, pushing fake support numbers, login pages and phishing links impersonating well-known brands; the campaign, dubbed Dark Sourcery, shows how trust in AI-generated answers can create a new fraud channel; IANS Faculty say the issue is not that chatbots are being hacked, but that attackers are poisoning the sources they rely on, making verification, brand monitoring and limits on AI agent autonomy key defenses. The body text states that Vigilance Security researchers identified tens of thousands of malicious pages, that about 91% of people who use AI chatbots do not verify the answers provided according to a study by Exploding Topics, and that at least 374 companies have been impacted, with Delta, Lufthansa, Qatar Airways, Chase, Bank of America, Airbnb and TripAdvisor named.

毒化是如何建構的

這套機制有三個部分,而按任何傳統意義來說,只有第一部分屬於攻擊者。首先,在網路上散布載有虛假聯絡資訊的頁面。其次,讓那些頁面看起來像是來自檢索系統理應信任的來源。第三,讓助理來負責引用。

第二步是 Vigilance 最著重的地方。Simon 告訴 Dark Reading:「我們懷疑,高權威網域(大學、政府)結合輿論來源(社群媒體、論壇、使用者評論),在毒化 AI 答案方面取得了很高的成功率。視模型而定,AI 會查看來源,若內容來自權威實體,就會更信任它。」這描述的是一種借來的聲譽:一個遭入侵或遭濫用的大學頁面提供權威性,而散落各處的論壇貼文與評論則提供該說法在其他地方獲得佐證的表象。

Ground Truth 是一家核查 AI 說法與其來源是否相符的媒體,它總結了 Simon 貼文中列出的植入策略:相同或相似的虛假聯絡資訊散布在使用者生成貼文、PDF、託管頁面、評論、募資與求職平台,以及問答式內容中;細節經過精心調整以利檢索,採用重複的格式與「24/7」、「updated 2026」等詞語;同一個電話號碼則以空格、點號、表情符號、Unicode 形近字元或拼寫出來的文字呈現。最後這項技巧有雙重作用——既能破解重複字串偵測,又能讓模型仍讀到同一個號碼。Ground Truth 精準描述了其目標:不是一個爆紅頁面,而是「獨立佐證的表象」。

GIGAZINE 對這項研究的報導提供了一個具體例證:一篇捏造的 HP 印表機支援貼文與圖片,上頭附帶的電話號碼並非 HP 的號碼。這是該模式的其中一例,而非經稽核的案例;該媒體將此歸因於 Vigilance 的研究,而非其自身的調查。

不是提示注入——但被如此歸檔

這項區別很重要,而 Simon 明確地劃出這道界線。Dark Reading 引述他的話說,這場行動與提示注入不同,「差別在於它不涉及攻擊者向 AI 提供明確指示或提示,而這類做法可能會被 AI 防禦機制阻擋。」他更精闢的表述是:「在此,被當成事實呈現的虛假訊息,是讓 AI 以錯誤資訊回答使用者,完全不必遵循攻擊者的任何指示/提示,基本上繞過了所有防禦。」

它也與訓練資料投毒不同,後者破壞的是模型在部署前學到的內容。這裡的一切都發生在檢索時、針對即時網路,而且在模型上線之後——這就是為什麼再訓練也無法修復,也是為什麼即使把遭投毒的頁面下架,答案也未必會改變。

檔案館將此紀錄歸檔於 IPI,也就是其間接提示注入標籤之下。請仔細閱讀:該標籤與研究描述的是相鄰但不同的事情。IPI 涵蓋的是間接抵達模型的內容,存在於模型被要求處理的素材之中,而非由使用者自行輸入。Dark Sourcery 則是移除指令後的同一管道——其承載內容是事實,而非命令。該標籤是關於此管道的歸檔判定;Simon 的敘述則是關於承載內容的主張,兩者並不衝突。不應將該標籤解讀為斷言已遞送攻擊者提示,因為依研究本身的說法,並沒有任何攻擊者提示被遞送。

該紀錄確立了什麼,以及未確立什麼

檔案館將這筆紀錄評為 B 級——有文獻記載,但僅來自單一或二手來源——而這個評級是其中最有用的部分。此處檢視的報導內容沒有任何一處與該研究相牴觸。問題不在於牴觸;而在於證據鏈只有一份文件那麼寬。

• 已確認:Vigilance Security 於 2026 年 9 月 23 日以 Simon 的名義發表了這份研究,而研究內容提出了上述各項主張——374 家公司、數以萬計的頁面、被點名的品牌、其運作機制,以及借用權威的手法。

• 已確認:該研究同日由 Dark Reading 報導,並在五天內由 IANS(9 月 24 日)、GIGAZINE 與 Ground Truth(9 月 25 日)、NEWSru.co.il 引述以色列媒體 Israel Defense(9 月 27 日),以及 Aviatrix(9 月 23 日)與 Kronus Intelligence Group(9 月 28 日)的廠商研究頁面報導。

• 無法據此確立獨立驗證。上述每一篇報導都可追溯至 Simon 的貼文,或 Dark Reading 對該貼文的報導,因此它們只是轉述這些說法,並未加以檢驗。該檔案本身引用的第二個網址 bestsec.net,是每日更新的資安新聞摘要;2026 年 10 月 26 日,其首頁沒有任何 Dark Sourcery 項目,因此 Dark Reading 的那篇文章才是可長期引用的來源。

• 尚未確立:規模。Ground Truth 明確表示,「該披露所稱的 374 家受影響公司與數萬頁資料,尚未經獨立稽核」,且未發布任何公開資料集、惡意頁面語料庫或可重現的查詢日誌。Kronus Intelligence Group 9 月 28 日的分析得出相同結論,並提出一個有用的標籤:將機制描述為已確立,將規模描述為「已報導但未經核實」。

• 尚未確立:就研究人員自己的說法而言,可重現性並未確立。Ground Truth 報導,Simon 將這些結果描述為統計性的,並表示每次執行查詢時並非都能重現。這是檢索增強系統的一項尋常特性——排名、模型版本、位置、時機與措辭都會變動——這也是該發現無法按要求展示的原因。

• 未確立:傷害的規模。該檔案記載確實存在真實傷害,但其依據範圍狹窄。Simon 告訴 Dark Reading,Vigilance 曾見過{{1}}「幾起事件」{{/1}},是人們抱怨因聊天機器人回答中提供的詐騙號碼而被騙交出付款細節或支付卡資料。研究人員也親自撥打其中一些假號碼,並聯繫到一名代表,對方提出可「更改我們的航班」或「解鎖我們的銀行帳戶」,隨後索取卡片資料。未指名任何受害者、未量化任何損失,也未引用任何投訴或執法行動。

• 無爭議:檔案將該條目記載為無異議,而這也站得住腳——報導中懸而未決的問題,是披露內容的遺漏,而非對其的異議。

Screenshot of the Ground Truth article 'Dark Sourcery alleges scammers are poisoning AI search answers with fake support contacts', dated 2026-09-25. The opening paragraph reads that a security disclosure dubbed Dark Sourcery alleges scammers are manipulating the web pages retrieved by AI search products so answers repeat fake customer-support contacts, that the mechanism is credible, and that the disclosure's claims of 374 affected companies and tens of thousands of pages have not been independently audited. Key facts listed below state that Ariel Simon published the primary disclosure under the title 'Dark Sourcery'; that Simon says his team tested answers from ChatGPT, Gemini and Google AI Overview; that the post reports 374 affected companies and tens of thousands of malicious pages but supplies no public dataset or reproducible query log; and that the claimed target is false phone numbers, URLs, email addresses and update instructions that look like official support information.

這兩個平台分別說了什麼

根據 NEWSru.co.il 引述 Israel Defense 的報導,研究人員已向兩家廠商通報這種行為。據稱 Google 的立場是,這類假訊息不在其漏洞披露計畫的範圍內。據報導,OpenAI 則以無法穩定重現這些發現為由結案,理由是語言模型回應具有變異性。這兩份摘要都屬於轉述:該文章未指名兩家公司任何一位發言人,未提供直接引述,也未註明回應日期。

兩份回應都沒有否認被投毒的答案存在。若把它們解讀為分流決定而非反駁,兩者至少都內部自洽——漏洞賞金制度本來就是為了獎勵程式碼中可重現的缺陷,而這既無法按要求重現,也不是程式碼缺陷。被投毒的頁面位於別人的網站上。這場交流確實揭示了一個缺口:傷害真實到足以造成受害者,行為又變動到足以無法通過重現測試,因此它落在「安全漏洞」與「內容問題」之間的空間,而那裡沒有任何揭露管道在等著它。

截至 Kronus 9 月 28 日的分析,OpenAI 與 Google 均未公開證實或反駁 374 家公司這個數字,而本文所檢視的任何報導中,也都不見兩家公司發表任何聲明。

之後有什麼改變?

作為回應,目前尚未宣布任何平台變更。在9月23日發布時,這項活動被描述為仍在進行中,而 Simon 自己的評估是,相關核算尚未完成:「我們相信這些詐騙的真正影響正在當下發生,而我們仍無法完全理解或衡量其全面影響。」

取而代之的是建議。根據《Dark Reading》報導,Simon 的建議有三個方向。對使用者而言:查證助理告訴你的內容,而非將其視為絕對可靠。對品牌而言:認真看待顧客對詐騙的投訴,監控顧客實際收到的 AI 回答及這些回答所引用的來源,並優先處理錯誤號碼代價高昂的類別——客服支援、帳號復原、退款、付款與軟體下載。對運行代理程式的組織而言:在執行階段進行監控,驗證進入模型上下文的每一個來源與每一份內容,並在據以行動之前檢查關鍵細節——電話號碼、連結、軟體套件、命令列。他建議的比對步驟刻意採人工方式:「將回傳的電話號碼、電子郵件地址與 URL 與經查證的公司紀錄比對,接著調查不熟悉的細節,以及橫跨不相關網站的重複性指標。」

IANS 將同一項建議交由旗下專家群審查,Josh More 把這場行動歸入一個既有脈絡——「我們在搜尋引擎上已經看到這種手法多年」——而 George Gerchow 則把其機制濃縮成一句值得記住的話:「沒有人侵入模型。他們只是餵養模型所信任的來源,讓它自己開口。這個聊天機器人不是被駭,而是被餵。」IANS 專家群的建議在查核建議之外,加入品牌監控與對代理程式自主性的限制,而這些建議沒有一項構成真正的修復。

為什麼這份紀錄值得保留

搜尋結果投毒由來已久。這份紀錄所描述的,是搜尋結果不再是用戶所見之物的那個轉折點。在傳統版本中,受害者會落到某個頁面,而那個頁面就是證據——拼字錯誤百出、主機位置古怪、明顯不是那家銀行。在這裡,頁面從未被渲染。模型讀取它、認同它,然後寫出一句話,這句話以品牌名稱開頭,並以攻擊者的號碼結尾。引用可能就在那裡,但引用通常所支撐的判斷,早已由某個不會疲倦、也不會起疑的東西做出了。

這也是為什麼該紀錄的信心等級是在真正發揮作用,而不是例行雜務。機制本身並沒有嚴重疑問——檢索增強系統就是這樣建構的,撰寫相關內容的產業分析師一看便認為合理。有疑問的是規模,而且會一直存疑,直到有人釋出語料庫或查詢日誌。單一公司的測量結果,經由全都引用同一篇文章的媒體轉載,既是記錄此事件的理由,也是不要彷彿這數字已被重複計數過一般再次複述它的理由。

檔案本身的定調將其列為高嚴重性:確認涉及 AI、記錄了實際損害,且未附帶任何爭議。這則條目真正記錄的,是一種信任的轉移:品牌聲譽是原料,助理的流暢表現是傳遞機制,而本可攔下問題的查證步驟,正是據稱有 91% 使用者會跳過的那一步。

Self-authored OrcaRouter card titled 'The chain of evidence for one claim', presented as a six-row table with columns Date, Publication and What it added. 23 Sep 2026, Vigilance Security: Ariel Simon publishes the research post on Medium. 23 Sep 2026, Dark Reading: Elizabeth Montalbano reports it at 14:47 UTC. 24 Sep 2026, IANS: Nuria Díaz Munoz; faculty commentary, no new figures. 25 Sep 2026, GIGAZINE and Ground Truth: Ground Truth states the 374 figure is unaudited. 27 Sep 2026, NEWSru.co.il and Israel Defense: Google and OpenAI responses, reported as paraphrase. 28 Sep 2026, Kronus Intelligence Group: scale labelled reported-but-unverified. A footer panel reads that none of the six is an independent second measurement, and that each cites Simon's post or Dark Reading's report of it, which is why the archive grades this record B.