Abstrakt teknisk illustration: en tät vägg av ljusgrå webbsidekort, de flesta inaktiva, med ungefär vart tolfte kort lysande bärnstensgult. Tunna bärnstensgula linjer löper från de lysande korten in i en stor benvit svarsruta som innehåller tre grå platshållarstaplar. Under rutan hänger en rad med sex cirkulära telefonikoner, som var och en visar samma platshållarsiffror 1234567 skrivna på olika sätt – enkelt, med mellanrum, med punkter, avbrutna av små symboler och inom parentes med ett tresiffrigt riktnummer. En streckad linje leder från svarsrutan ned till en enkel anonym användarsilhuett utan ansiktsdrag. En liten versal etikett nere till vänster lyder "DARK SOURCERY". Inga logotyper och inget verkligt telefonnummer förekommer i bilden.
AI Safety Incidents

Dark Sourcery: Förgiftade webbsidor, 374 varumärken och svar som ingen kontrollerade

Författare

Elias Hawthorne

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Den 23 september 2026 publicerade säkerhetsföretaget Vigilance Security en studie som beskriver en pågående kampanj som de kallar Dark Sourcery: angripare översvämmar det öppna webben med optimerade inlägg, PDF:er, recensioner och falska supportsidor så att ChatGPT, Google Gemini och Google AI Overviews returnerar bedrägliga telefonnummer, e-postadresser och inloggningssidor som ett företags officiella kontaktuppgifter. Dark Reading rapporterade om studien samma dag och namngav Delta, Lufthansa, Qatar Airways, Chase, Bank of America, Airbnb och TripAdvisor bland minst 374 företag som dragits in, med tiotusentals skadliga sidor bakom sig. Ingen modell hade hackats — de förgiftade sidorna var helt enkelt vad modellerna läste, och bedrägeriet kom med assistentens egen trovärdighet. Den här posten är en av posterna i OrcaRouter AI Incident Archive, som spårar AI-incidenter och forskningsrön med samma fält som används här: allvarlighetsgrad, tillförlitlighet, omtvistad status och verklig skada.

Vad Vigilance Security faktiskt publicerade

Forskningen är ett Medium-inlägg av Ariel Simon, vicepresident för forskning på Vigilance, med titeln "Dark Sourcery: How Hackers Manipulate AI to Scam You", publicerat den 23 september 2026. Dark Readings artikel, skriven av medverkande skribenten Elizabeth Montalbano och tidsstämplad 14:47 UTC samma dag, länkar direkt till den och citerar Simon genomgående. Inlägget beskriver en innehållsoperation snarare än en exploit: ingen sårbarhet utnyttjas, inga autentiseringsuppgifter stjäls direkt av angriparen, och ingenting skickas till en modell som en modell skulle kunna lära sig att vägra.

Vigilance säger att man har identifierat "tiotusentals skadliga sidor" som innehåller falska supportnummer, e-postadresser, inloggningssidor, information om programuppdateringar och andra bedrägliga uppgifter, byggda för att styra vad chattbotar säger. Man uppger att antalet företag som berörs är "minst 374", och beskriver att det omfattar Fortune 100-organisationer, stora flygbolag, banker, reseföretag och mjukvaruleverantörer. De namngivna varumärkena i Dark Readings rapport är Delta, Lufthansa, Qatar Airways, Chase, Bank of America, Airbnb och TripAdvisor.

Varken forskningsinlägget eller rapporteringen som följde ger någon uppdelning per varumärke – vilket falskt nummer som tillhörde vilket företag, hur många förgiftade sidor som riktades mot var och en, eller när någon enskild sida lades upp. Siffran 374 presenteras som en totalsumma, och registret återger den på samma sätt.

Simon citerar också en studie av Exploding Topics, publicerad i augusti 2026, som visar att 91 % av personer som använder AI-chattbotar inte verifierar de svar som ges. Den siffran är kampanjens premiss snarare än dess mätning: den citeras i forskningen och upprepas av Dark Reading och IANS, och dess egen metodik beskrivs inte i någon av de granskningar som behandlas här. I Simons formulering: "om angripare kontrollerar AI och vi blint litar på det, kontrollerar de i praktiken oss."

Screenshot of the IANS news article 'Dark Sourcery Campaign Manipulates AI Chatbot Answers to Scam Users', bylined to Nuria Díaz Munoz and dated September 24, 2026, with faculty contributors Josh More and George Gerchow. The visible Key Points read: threat actors are using SEO to manipulate AI chatbot answers, pushing fake support numbers, login pages and phishing links impersonating well-known brands; the campaign, dubbed Dark Sourcery, shows how trust in AI-generated answers can create a new fraud channel; IANS Faculty say the issue is not that chatbots are being hacked, but that attackers are poisoning the sources they rely on, making verification, brand monitoring and limits on AI agent autonomy key defenses. The body text states that Vigilance Security researchers identified tens of thousands of malicious pages, that about 91% of people who use AI chatbots do not verify the answers provided according to a study by Exploding Topics, and that at least 374 companies have been impacted, with Delta, Lufthansa, Qatar Airways, Chase, Bank of America, Airbnb and TripAdvisor named.

Hur förgiftningen är uppbyggd

Mekanismen har tre delar, och bara den första tillhör angriparen i någon konventionell mening. För det första: så webben med sidor som anger den falska kontaktuppgiften. För det andra: få dessa sidor att se ut som om de kommer från någonstans som ett hämtningssystem bör lita på. För det tredje: låt assistenten göra citeringen.

Det andra steget är där Vigilance lägger största delen av sin tonvikt. "Vi misstänker att domäner med hög auktoritet (universitet, myndigheter) kombinerade med källor till allmän opinion (sociala medier, forum, användarrecensioner) lyckades i hög grad med att förgifta AI-svar", sade Simon till Dark Reading. "Beroende på modellen tittar AI:n på källan och litar mer på innehållet om det kommer från en auktoritativ aktör." Det är en beskrivning av lånat anseende: en komprometterad eller missbrukad universitetssida tillhandahåller auktoriteten, och en spridning av foruminlägg och recensioner ger sken av att påståendet bekräftas någon annanstans.

Ground Truth, en mediekanal som kontrollerar AI-påståenden mot källorna, sammanfattade de spridningstaktiker som listas i Simons inlägg: samma eller liknande falska kontaktuppgifter utspridda över användargenererade inlägg, PDF:er, hostade sidor, recensioner, insamlings- och jobbplattformar samt Q&A-liknande innehåll; detaljer finjusterade för hämtning med upprepad formatering och fraser som "24/7" och "updated 2026"; och samma telefonnummer återgivet med mellanslag, punkter, emoji, Unicode-tecken som liknar andra eller ord som stavas ut. Den sista tekniken fyller två funktioner – den besegrar identifiering av dubblerade strängar samtidigt som en modell fortfarande läser ett nummer. Ground Truth beskriver målet exakt: inte en enda viral sida, utan "skenet av oberoende bekräftelse."

GIGAZINE:s genomgång av forskningen ger ett konkret exempel: ett påhittat supportinlägg för HP-skrivare och en bild med ett telefonnummer som inte tillhörde HP. Det är ett exempel på mönstret snarare än ett granskat fall, och mediet tillskriver det Vigilance-forskningen snarare än en egen undersökning.

Inte prompt injection – men registrerat som sådant

Åtskillnaden är viktig, och Simon drar den uttryckligen. Dark Reading citerar honom när han säger att kampanjen skiljer sig från prompt injection ”genom att den inte innebär att angriparen ger AI:n explicita instruktioner eller prompter, vilket skulle kunna motverkas av AI-försvar”. Hans skarpare formulering: ”Här får desinformationen som presenteras som fakta AI:n att svara användaren med den falska informationen, utan att någonsin följa någon instruktion/prompt från angriparen, och kringgår i praktiken alla försvar.”

Det skiljer sig också från förgiftning av träningsdata, som fördärvar det en modell har lärt sig före driftsättning. Allt här sker vid hämtningstillfället, mot det levande webben, efter att modellen har släppts – vilket är anledningen till att ingen omträning åtgärdar det och till att den förgiftade sidan kan tas ned utan att svaret nödvändigtvis ändras.

Arkivet registrerar denna post under IPI, dess tagg för indirekt promptinjektion. Läs noga: taggen och forskningen beskriver angränsande saker: IPI omfattar innehåll som når en modell indirekt, inuti material som modellen ombeds bearbeta, i stället för att ha skrivits in av användaren. Dark Sourcery är den kanalen med instruktionen borttagen – nyttolasten är ett faktum, inte ett kommando. Taggen är ett arkiveringsbeslut om kanalen; Simons redogörelse är ett påstående om nyttolasten, och de två står inte i konflikt. Taggen bör inte läsas som ett påstående att en angripares prompt levererades, eftersom ingen sådan levererades enligt forskningens egen redogörelse.

Vad handlingarna fastställer, och vad de inte fastställer

Arkivet betygsätter denna post som B – dokumenterad, men från en enda eller sekundär källa – och det betyget är det mest användbara med den. Inget i det material som granskats här motsäger forskningen. Problemet är inte motsägelse; det är att beviskedjan är bara ett dokument bred.

• Fastställt: Vigilance Security publicerade undersökningen den 23 september 2026 i Simons namn, och den framför de påståenden som beskrivs ovan – de 374 företagen, de tiotusentals sidorna, de namngivna varumärkena, mekanismen och taktiken med lånad auktoritet.

• Fastställt: forskningen rapporterades samma dag av Dark Reading och inom fem dagar av IANS (24 september), GIGAZINE och Ground Truth (25 september), NEWSru.co.il med hänvisning till det israeliska mediet Israel Defense (27 september), samt leverantörens forskningssidor hos Aviatrix (23 september) och Kronus Intelligence Group (28 september).

• Inte fastställt av det: oberoende verifiering. Var och en av dessa texter går tillbaka till Simons inlägg eller Dark Readings rapport om det, så de sprider påståendena i stället för att pröva dem. Arkivets egen andra citerade URL, bestsec.net, är ett nyhetsdigest för cybersäkerhet som rullas om dagligen; den 26 oktober 2026 innehöll dess förstasida inget Dark Sourcery-inslag, så Dark Reading-artikeln är den hållbara källhänvisningen.

• Inte fastställd: omfattningen. Ground Truth anger tydligt att "{{1}}avslöjandets påståenden om 374 drabbade företag och tiotusentals sidor inte har genomgått oberoende granskning,{{/1}}" och att inget offentligt datamaterial, ingen korpus av skadliga sidor och ingen reproducerbar frågelogg publicerades. {{2}}Kronus Intelligence Groups analys av den 28 september kommer till samma slutsats och föreslår den användbara beteckningen: beskriv mekanismen som fastställd och omfattningen som ”rapporterad-men-overifierad”.{{/2}}

• Inte fastställt: reproducerbarhet, enligt forskarnas egen redogörelse. Ground Truth rapporterar att Simon beskrev resultaten som statistiska och sade att de inte reproducerades varje gång en fråga kördes. Det är en vanlig egenskap hos retrieval-augmenterade system – rangordningar, modellversioner, plats, tidpunkt och formulering varierar – och det är också anledningen till att fyndet inte kunde demonstreras på begäran.

• Inte fastställt: omfattningen av skadan. Arkivet registrerar verklig skada som föreliggande, och grunden för det är smal. Simon sade till Dark Reading att Vigilance hade sett "några få förekomster" av personer som klagade över att ha blivit lurade att lämna ut betalningsuppgifter eller betalkortsuppgifter genom bedrägliga nummer som tillhandahölls i svar från chatbotar. Forskarna ringde också själva några av de falska numren och nådde en representant som erbjöd sig att "flytta vårt flyg" eller "låsa upp vårt bankkonto" och sedan bad om kortuppgifter. Ingen offer namnges, ingen förlust kvantifieras och ingen anmälan eller tillsynsåtgärd citeras.

• Inte omtvistat: arkivet registrerar posten som ostridig, och det håller — de öppna frågorna i bevakningen är utelämnanden i redogörelsen, inte invändningar mot den.

Screenshot of the Ground Truth article 'Dark Sourcery alleges scammers are poisoning AI search answers with fake support contacts', dated 2026-09-25. The opening paragraph reads that a security disclosure dubbed Dark Sourcery alleges scammers are manipulating the web pages retrieved by AI search products so answers repeat fake customer-support contacts, that the mechanism is credible, and that the disclosure's claims of 374 affected companies and tens of thousands of pages have not been independently audited. Key facts listed below state that Ariel Simon published the primary disclosure under the title 'Dark Sourcery'; that Simon says his team tested answers from ChatGPT, Gemini and Google AI Overview; that the post reports 374 affected companies and tens of thousands of malicious pages but supplies no public dataset or reproducible query log; and that the claimed target is false phone numbers, URLs, email addresses and update instructions that look like official support information.

Vad de två plattformarna sa

Enligt NEWSru.co.il, med hänvisning till Israel Defense, rapporterade forskarna beteendet till båda leverantörerna. Googles rapporterade hållning var att den här typen av desinformation faller utanför ramen för företagets program för sårbarhetsrapportering. OpenAI ska enligt uppgift ha stängt rapporten med motiveringen att resultaten inte kunde reproduceras tillförlitligt, med tanke på variationen i språkmodellernas svar. Båda sammanfattningarna är parafraser: artikeln namnger ingen talesperson vid något av företagen, ger inget direkt citat och daterar inte svaren.

Inget av svaren förnekar att de förgiftade svaren finns. Lästa som triagebeslut snarare än vederläggningar är båda åtminstone internt sammanhängande – en bug bounty är till för att belöna en reproducerbar defekt i kod, och detta är varken reproducerbart på begäran eller en defekt i kod. Den förgiftade sidan ligger på någon annans webbplats. Vad utbytet däremot visar är en lucka: skadan är tillräckligt verklig för att skapa offer och beteendet tillräckligt variabelt för att misslyckas i ett reproduktionstest, så det hamnar i utrymmet mellan "säkerhetssårbarhet" och "innehållsproblem", där ingen kanal för avslöjande väntar på det.

Varken OpenAI eller Google hade offentligt bekräftat eller tillbakavisat uppgiften om 374 företag vid tidpunkten för Kronus analys den 28 september, och inget uttalande från något av företagen förekommer i någon av den rapportering som granskats här.

Vad förändrades efteråt?

Ingen plattformsändring har meddelats som svar. Kampanjen beskrevs som pågående vid publiceringen den 23 september, och Simons egen bedömning är att redovisningen är ofullständig: "Vi anser att den verkliga påverkan av dessa bedrägerier sker nu, och vi kan fortfarande inte till fullo förstå eller mäta den fulla påverkan."

Det som finns i stället är råd. Simons rekommendationer, så som de återges av Dark Reading, går i tre riktningar. För användare: verifiera det en assistent säger till dig i stället för att behandla det som ofelbart. För varumärken: ta kundklagomål om bedrägerier på allvar, övervaka de AI-svar som kunderna faktiskt får och de källor som svaren hänvisar till, och prioritera de kategorier där ett felaktigt nummer är dyrt — support, återställning av konton, återbetalningar, betalningar och nedladdning av programvara. För organisationer som kör agenter: övervaka vid körning, verifiera varje källa och varje innehållsdel som kommer in i modellens kontext, och kontrollera kritiska detaljer — telefonnummer, länkar, programvarupaket, kommandorader — innan du agerar utifrån dem. Jämförelsesteget han föreslår är avsiktligt manuellt: "Jämför returnerade telefonnummer, e-postadresser och URL:er mot verifierade företagsuppgifter och undersök sedan okända detaljer och upprepade indikatorer på orelaterade webbplatser."

IANS lät samma råd genomgå fakultetens granskning, där Josh More placerade kampanjen i en tradition – "Vi har sett det här på sökmotorer i åratal" – och George Gerchow komprimerade mekanismen till en rad värd att behålla: "Ingen bröt sig in i modellen. De sådde de källor den litar på och lät den sköta talan. Chatboten blev inte hackad; den blev matad." IANS fakultetsrekommendationer lägger till varumärkesövervakning och begränsningar av agenters autonomi till verifieringsrådet, och ingen av dem utgör en lösning.

Varför posten är värd att behålla

Sökresultatsförgiftning är gammalt. Det som den här posten beskriver är punkten där sökresultatet slutade vara det användaren ser. I den konventionella versionen landar ett offer på en sida, och sidan är beviset – felstavad, underligt hostad, synbart inte banken. Här renderas sidan aldrig. En modell läser den, instämmer i den och skriver en mening som börjar med varumärkets namn och slutar med angriparens nummer. Citatet kan finnas där, men bedömningen som ett citat normalt stöder har redan gjorts av något som inte blir trött eller misstänksamt.

Det är också därför postens tillförlitlighetsklass gör verklig nytta och inte bara är administration. Mekanismen är inte i allvarligt tvivel – det är så retrieval-augmenterade system byggs, och branschanalytikerna som skrev om den ansåg den vara trovärdig vid första anblicken. Omfattningen är osäker och kommer att förbli osäker tills någon publicerar ett korpus eller en frågelogg. En enskild firms mätning, som sprids av medier vilka alla hänvisar till samma inlägg, är ett skäl att registrera händelsen och ett skäl att inte upprepa siffran som om den hade räknats två gånger.

Arkivets egen inramning placerar det på hög allvarlighetsgrad med AI-inblandning bekräftad, verklig skada dokumenterad och ingen tvist kopplad. Vad posten egentligen dokumenterar är en överföring av förtroende: varumärkets rykte är råmaterialet, assistentens flyt är leveransmekanismen, och det verifieringssteg som skulle ha fångat det är det som 91 % av användarna sägs hoppa över.

Self-authored OrcaRouter card titled 'The chain of evidence for one claim', presented as a six-row table with columns Date, Publication and What it added. 23 Sep 2026, Vigilance Security: Ariel Simon publishes the research post on Medium. 23 Sep 2026, Dark Reading: Elizabeth Montalbano reports it at 14:47 UTC. 24 Sep 2026, IANS: Nuria Díaz Munoz; faculty commentary, no new figures. 25 Sep 2026, GIGAZINE and Ground Truth: Ground Truth states the 374 figure is unaudited. 27 Sep 2026, NEWSru.co.il and Israel Defense: Google and OpenAI responses, reported as paraphrase. 28 Sep 2026, Kronus Intelligence Group: scale labelled reported-but-unverified. A footer panel reads that none of the six is an independent second measurement, and that each cites Simon's post or Dark Reading's report of it, which is why the archive grades this record B.