Bezpečnostní rizika, která představuje formát Pickle, se opět dostala do popředí s objevem nové „techniky využití modelu hybridního strojového učení (ML)“ nazvané Sleepy Pickle.
Metoda útoku podle Trail of Bits využívá všudypřítomný formát používaný k balení a distribuci modelů strojového učení (ML) jako zbraň k poškození samotného modelu, což představuje vážné riziko pro dodavatelský řetězec a následně zákazníky organizace.
„Sleepy Pickle je nenápadná a neotřelá útočná technika, která se zaměřuje spíše na samotný model strojového učení než na základní systém,“ řekl bezpečnostní technik Boyan Milanov.
Pickle je široce používaný formát serializace knihovnami ML, jako je PyTorch, lze jej použít k provádění útoků na spuštění libovolného kódu jednoduše načtením souboru pickle (tj. během deserializace).
„Doporučujeme načítat modely od uživatelů a organizací, kterým důvěřujete, spoléhat se na podepsané commity a/nebo načítat modely z formátů [TensorFlow] nebo Jax s mechanismem from_tf=True auto-conversion,“ upozorňuje Hugging Face ve své dokumentaci.
Sleepy Pickle funguje tak, že vloží datovou část do souboru pickle pomocí opensourcových nástrojů, jako je Fickling, a poté ji doručí cílovému hostiteli pomocí jedné ze čtyř technik, jako je útok AitM (adversary-in-the-middle), phishing, kompromitace dodavatelského řetězce nebo zneužití slabého místa systému.
„Když je soubor deserializován v systému cíle, payload je spuštěn a modifikuje obsažený model na místě tak, že vloží zadní vrátka, ovládací výstupy nebo manipuluje se zpracovanými daty před jejich vrácením uživateli,“ řekl Milanov.
Jinak řečeno, datová část vložená do souboru rozevíracího seznamu obsahujícího serializovaný model ML může být zneužita ke změně chování modelu manipulací s hodnotami modelu nebo manipulací se vstupními a výstupními daty zpracovanými modelem.
V hypotetickém scénáři útoku by tento přístup mohl být použit ke generování škodlivých výstupů nebo dezinformací, které mohou mít katastrofální důsledky pro bezpečnost uživatelů (např. pití bělidla k léčbě chřipky), krádež uživatelských dat, pokud jsou splněny určité podmínky, a nepřímý útok na uživatele generováním zmanipulovaných souhrnů zpravodajských článků s odkazy směřujícími na phishingovou stránku.
Trail of Bits uvedl, že Sleepy Pickle může být aktéry hrozeb zneužit jako zbraň, aby udržoval tajný přístup k systémům ML způsobem, který se vyhýbá detekci.
To je také efektivnější než přímé nahrání škodlivého modelu do Hugging Face, protože může dynamicky upravovat chování modelu nebo výstup, aniž by musel lákat své cíle ke stažení a spuštění.
„Se Sleepy Pickle mohou útočníci vytvářet soubory pickle, které nejsou ML modely, ale přesto mohou poškodit místní modely, pokud jsou načteny dohromady,“ řekl Milanov. „Útočná plocha je tak mnohem širší, protože kontrola nad jakýmkoli souborem plněním daty v dodavatelském řetězci cílové organizace je dostatečná k útoku na jejich modely.“
„Sleepy Pickle ukazuje, že pokročilé útoky na úrovni modelu mohou zneužít slabiny dodavatelského řetězce na nižší úrovni prostřednictvím spojení mezi základními softwarovými komponentami a finální aplikací.“
Sleepy Pickle není jediným útokem, který Trail of Bits demonstroval, protože firma zabývající se kybernetickou bezpečností uvedla, že by mohl být vylepšen tak, aby dosáhl perzistence v kompromitovaném modelu a nakonec se vyhnul detekci – technika označovaná jako Sticky Pickle.
„Tato varianta obsahuje samoreplikující se mechanismus, který šíří svůj škodlivý kód do následných verzí kompromitovaného modelu,“ řekl Milanov. „Sticky Pickle navíc používá obfuskaci k zamaskování škodlivého kódu, aby se zabránilo detekci skenery souborů pickle.“
Zneužití tak zůstává trvalé i ve scénářích, kdy se uživatel rozhodne upravit ohrožený model a znovu ho distribuovat pomocí nového souboru pickle, který je mimo kontrolu útočníka.
Chcete-li se zabezpečit proti Sleepy Pickle a dalším útokům na dodavatelský řetězec, doporučujeme vyhnout se používání souborů pickle k distribuci serializovaných modelů a používat pouze modely od důvěryhodných organizací a spoléhat se na bezpečnější formáty souborů, jako jsou SafeTensors.
Zdroj: thehackernews.com
