印度电信业现大规模整合潮 供应商集体承受重压

百度 大众是其品牌的纯电动车系列，其代表了大众未来的设计和技术方向。

Stabilná difúzia (Stable Diffusion) je model h?bkového strojového u?enia, prevádzajúci text na obraz, ktory bol na trh uvedeny v roku 2022 na základe technológie tzv. difúzie. Je poprednym produktom spolo?nosti Stability AI.

Stabilná Difúzia (Stable Diffusion)
Obrázok generovany pomocou Stable Diffusion 3.5 s pou?itím textového vstupu a photograph of an astronaut riding a horse (fotografia astronauta jazdiaceho na koni)
Základné informácie
Autor	Runway, CompVis a Stability AI
Vyvojár	Stability AI
Uvedenie	August 22, 2022
Posledná aktuálna verzia	SD 3.5 (model) (October 22, 2024)
Lokalizácia	Python
Typ softvéru	Model text-na-obrázok
Licencia	Komunitná Licencia Stability AI
?al?ie odkazy
Webová stránka	stability.ai/stable-image
Pozri aj Informa?ny portál

Primárne je ur?ená na generovanie podrobnych obrázkov na základe textovych popisov, mo?no ju v?ak pou?i? aj na iné úlohy, ako je napríklad inpainting, outpainting a prekres?ovanie obrázkov na základe textovej vyzvy, text prompt. Na jeho vyvoji sa podie?ali vyskumníci z CompVis Group na Ludwig Maximilian Univerzity v Mníchove a Runway s vypo?tovym príspevkom od Stability AI a tréningovymi dátami od neziskovych organizácií.

Stabilná difúzia (Stable Diffusion) je model latentnej difúzie, druh hlbokej generatívnej neurónovej siete umelej inteligencie. Navrhnutá bola s verejne dostupnym zdrojovym kódom. Umo?ňuje tak komunite vyvojárov prístup ku jej kódu a jej ?al?ie vylep?ovanie. Je schopná fungova? na v???ine spotrebite?ského hardvéru vybaveného be?nou GPU s najmenej 4 GB VRAM.

Odklon od predchádzajúcich proprietárnych generatívnych modelov prevodu textu na obrázok, ako sú DALL-E a Midjourney, ktoré sú dostupné iba prostredníctvom cloudovych slu?ieb, je v jej pou?ite?nosti lokálne.

Vyvoj

Stabilná difúzia (Stable Diffusion) vznikla z projektu s názvom Latentná difúzia (Latent Diffusion), ktory vyvinula skupina nemeckí vyskumníci z Ludwig Maximilian University v Mníchove a Heidelberg University. ?tyria z p?vodnych piatich autorov (Robin Rombach, Andreas Blattmann, Patrick Esser a Dominik Lorenz) sa nesk?r pripojili k Stability AI a vydali ?al?ie verzie Stable Diffusion.

Technická licencia na model bola vydaná skupinou CompVis na Ludwig Maximilian University v Mníchove. Vyvoj viedli Patrick Esser zo spolo?nosti Runway a Robin Rombach z CompVis, ktorí predtym vyna?li architektúru modelu latentnej difúzie (latent diffusion) pou?ívanú právé Stabilnou Difúziou (Stable Diffusion). Stability AI uznáva podporu EleutherAI a LAION, nemeckej neziskovej organizácie, ktoré zostavili k?ú?ovú sadu dát, na trénovanie Stabilnej Difúzie (Stable Diffusion).

Technológia

Schéma architektúry latentnej difúzie, ktorú pou?íva Stabilná Difúzia

Proces od?umovania, ktory pou?íva Stabilná Difúzia. Model generuje obrázky postupnym opakovanym od?umovaním náhodného ?umu, kym sa nedosiahne nakonfigurovany po?et krokov, vedeny textovym kódova?om CLIP vopred natrénovanym na koncepty spolu s mechanizmom pozornosti, vysledkom ?oho je po?adovany obrázok zobrazujúci reprezentáciu natrénovaného konceptu.

Architektúra

Modely zo série Stable Diffusion pred verziou SD 3 pou?ívali typ difúzneho modelu (DM) nazyvany latentny difúzny model (LDM), ktory vyvinula skupina CompVis (Computer Vision & Learning) na LMU v Mníchove. Difúzne modely boli prvykrát predstavené v roku 2015. Sú trénované s cie?om postupne odstraňova? aplikácie Gaussovho ?umu z tréningovych obrázkov. Tento proces mo?no predstavi? ako sekvenciu autoenkodérov na od?umenie. Stable Diffusion pozostáva z troch hlavnych ?astí: variabilného autoenkodéra (VAE), U-Netu a volite?ného textového enkodéra. Enkodér VAE komprimuje obrázok z pixelového priestoru do latentného priestoru s men?ími dimenziami, kde sa zachytáva podstatny sémanticky vyznam obrázka. Po?as procesu difúzie sa na túto latentnú reprezentáciu iteratívne pridáva Gaussov ?um. U-Net blok, postaveny na ResNet chrbticovej architektúre, postupne odstraňuje ?um z latentnej reprezentácie po?as sp?tnej difúzie, ?ím obnovuje obraz. Nakoniec dekodér VAE generuje vysledny obrázok, ke? túto latentnú reprezentáciu prevedie sp?? do pixelového priestoru.

Proces od?umovania m??e by? flexibilne podmieneny re?azcom textu, obrázkom alebo inym sp?sobom. Zakódované údaje pre od?umovanie sú vystavené U-Nets sieti prostredníctvom mechanizmu krí?ovej pozornosti . Na úpravu textu sa pou?íva fixny, vopred pripraveny textovy kódova? CLIP ViT-L/14 na transformáciu textovych vyziev do vlo?eného priestoru. Vyskumníci poukazujú na zvy?enú vypo?tovú efektivitu pre trénovanie a generovanie ako vyhodu LDM.

Názov difúzia ?erpá in?piráciu z termodynamickej difúzie. V roku 2015 vzniklo d?le?ité prepojenie medzi tymto ?isto fyzikálnym odborom a hlbokym strojovym u?ením.

S 860 miliónmi parametrov v U-Net a 123 miliónmi v textovom enkodéri je Stable Diffusion pova?ovany za relatívne nenáro?ny model pod?a ?tandardov roku 2022. Na rozdiel od inych difúznych modelov doká?e be?a? na be?nych GPU pre spotrebite?ov, a dokonca aj na samotnom CPU, ak sa pou?íva verzia Stable Diffusion zalo?ená na OpenVINO.

SD XL

XL verzia pou?íva rovnakú LDM architektúru ako predchádzajúce verzie, ale vo v???om rozsahu: v???ej základnej ?truktúry UNet, v???ím kontextom krí?ovej pozornosti, jednym textovym kódova?om navy?e a je trénovaná na viacerych pomeroch strán (nie len na obrázkoch so ?tvorcovym pomerom stránk ako predchádzajúce verzie).

SD XL Refiner, vydany v rovnakom ?ase, má rovnakú architektúru ako verzia SD XL, ale bol strojovo nau?eny na pridávanie jemnych detailov do u? existujúcich obrázkov pomocou textovo podmieneného img2img (modelu obrázok-na-obrázok).

SD 3.0

  Verzia 3.0 úplne mení základnú ?truktúru siete. Namiesto UNet pou?íva Rectified Flow Transformer, ktory implementuje metódu rectified flow v spojení s Transformerom.

Architektúra Transformer pou?ívaná vo verzii SD 3.0 obsahuje tri ?dráhy“ pre p?vodné textové kódovanie, transformované kódovanie, transformované textové a obrazu kódovanie (v latentnom priestore). Transformované textové kódovanie a obrazové kódovanie sa mie?ajú po?as ka?dého bloku Transformeru.

Architektúra je nazvaná "multimodal diffusion transformer (MMDiT), pri?om "multimodál" znamená, ?e vo svojich operáciách mie?a textové a obrazové kódovanie. To sa lí?i od predchádzajúcich verzií DiT, kde textové kódovanie ovplyvňovalo obrazové kódovanie, ale nie naopak.

Tréningové dáta

Stabilná Difúzia bola trénovaná na pároch obrázkov a popisov pochádzajúcich z LAION-5B, verejne dostupného súboru údajov zlo?eného z dát Common Crawl zozbieranych z internetu. Tento súbor údajov obsahuje 5 miliárd párov obrázkov a textov, klasifikovanych na základe jazyka a filtrovanych do samostatnych súborov údajov pod?a rozlí?enia, pravdepodobnosti, ?e obsahujú vodoznak a predpovedaného ?estetického“ skóre (napr. subjektívna vizuálna kvalita). Súbor údajov vytvorila nemecká nezisková organizácia LAION, ktorá je financovaná spolo?nos?ou Stability AI.

Model Stabilnej Difúzie bol trénovany na troch podskupinách LAION-5B: laion2B-en, laion-high-resolution a laion-aesthetics v2 5+. Analyza tréningovych dát od tretej strany odhalila, ?e z men?ej vzorky 12 miliónov obrázkov pochádzajúcich z p?vodného súboru údajov, pochádzalo pribli?ne 47% obrázkov pochádzalo zo 100 r?znych domén, pri?om Pinterest tvoril 8,5% tejto vzorky. Nasledovali webové stránky ako WordPress, Blogspot, Flickr, DeviantArt a Wikimedia Commons. Vy?etrovanie realizované Bayerischer Rundfunk ukázalo, ?e súbory údajov LAION, hostované na Hugging Face, obsahujú ve?ké mno?stvo súkromnych a citlivych údajov.

Tréningové postupy

Model bol p?vodne trénovany na podskupinách laion2B-en a laion-high-resolution, pri?om posledné kolá tréningu boli vykonané na LAION-Aesthetics v2 5+, podskupine obsahujúcej 600 miliónov obrázkov s popismi. Tieto obrázky boli vybrané na základe predikcie LAION-Aesthetics Predictor V2, ktorá odhadovala, ?e ?udia by im priemere dali hodnotenie aspoň 5 z 10, ke? by boli po?iadaní, aby ohodnotili, ako sa im pá?ia. Podskupina LAION-Aesthetics v2 5+ taktie? vylú?ila obrázky s nízkym rozlí?ením a obrázky, ktoré nástroj LAION-5B-WatermarkDetection identifikoval s pravdepodobnos?ou vy??ou ako 80 %, ?e obsahujú vodoznak. Po?as závere?nych k?l tréningu bolo navy?e z textového podmieňovania vypustenych 10 % dát, aby sa zlep?ilo Classifier-Free Diffusion Guidance.[4]

Model bol trénovany pomocou 256 grafickych kariet Nvidia A100 na Amazon Web Services pre celkovo 150000 hodín GPU za cenu 600000 USD.

Obmedzenia

Stable Diffusion problémy s degradáciou a nepresnos?ami v ur?itych situáciách. Po?iato?né verzie modelu boli trénované na dátovej sade pozostávajúcej z obrázkov s rozlí?ením 512×512, ?o znamená, ?e kvalita generovanych obrázkov vidite?ne klesá, ke? pou?ívate?ské nastavenia odchylia od ?o?akávaného“ rozlí?enia 512×512. Aktualizácia na verziu 2.0 nesk?r zaviedla mo?nos? natívne generova? obrázky s rozlí?ením 768×768. ?al?ou vyzvou je generovanie ?udskych kon?atín, ?o je sp?sobené nízkou kvalitou údajov o kon?atinách v databáze LAION. Model nie je dostato?ne trénovany na pochopenie ?udskych kon?atín a tvárí kv?li nedostatku reprezentatívnych prvkov v databáze, a pokusy vygenerova? obrázky tohto typu m??u pre model p?sobi? m?túco. Verzia Stable Diffusion XL (SDXL) 1.0, ktorá bola vydaná v júli 2023, priniesla natívne rozlí?enie 1024×1024 a vylep?ené generovanie kon?atín a textu.

Dostupnos? pre individuálnych vyvojárov m??e tie? by? problémom. Na prisp?sobenie modelu pre nové pou?itia, ktoré nie sú zahrnuté v p?vodnej dátovej sade, ako napríklad generovanie anime postáv (?waifu diffusion“), sú potrebné nové dáta a dodato?né trénovanie. Jemne doladené adaptácie Stable Diffusion, vytvorené prostredníctvom ?al?ieho pretrénovania, boli pou?ité na r?zne ú?ely, od medicínskeho zobrazovania po algoritmicky generovanú hudbu.

Tento proces jemného doladenia je v?ak citlivy na kvalitu novych dát; obrázky s nízkym rozlí?ením alebo s inym rozlí?ením ne? p?vodné dáta m??u nielen?e zlyha? pri u?ení novej úlohy, ale dokonca zhor?i? celkovy vykon modelu. Dokonca aj pri pou?ití vysokokvalitnych obrázkov je pre jednotlivcov náro?né prevádzkova? modely na be?nej spotrebite?skej elektronike. Napríklad tréningovy proces pre waifu-diffusion vy?aduje minimálne 30 GB VRAM, ?o presahuje kapacitu be?nych spotrebite?skych grafickych kariet, ako je napríklad séria Nvidia GeForce 30, ktorá má len pribli?ne 12 GB VRAM.

Tvorcovia Stable Diffusion si uvedomujú potenciál algoritmickej zaujatosti, ke??e model bol primárne trénovany na obrázkoch s anglickymi popismi. V d?sledku toho generované obrázky ?asto posilňujú spolo?enské predsudky a odrá?ajú západnú perspektívu, pri?om samotní tvorcovia priznávajú, ?e modelu chybajú dáta z inych komunít a kultúr. Model poskytuje presnej?ie vysledky pri zadaniach v angli?tine v porovnaní s inymi jazykmi, pri?om západná alebo biela kultúra ?asto predstavuje predvolenú reprezentáciu.

Koncové ladenie

Na rie?enie obmedzení po?iato?ného tréningu modelu m??u koncoví pou?ívatelia zvoli? dodato?ny tréning na doladenie vystupov generovania tak, aby lep?ie zodpovedali konkrétnym prípadom pou?itia, ?o sa tie? ozna?uje ako personalizácia. Existujú tri metódy, ktorymi je mo?né aplikova? pou?ívate?sky prístupné doladenie na modelovy checkpoint Stable Diffusion:

• ?Embedding“ (vlo?enie) m??e by? natrénované z kolekcie pou?ívate?om poskytnutych obrázkov, ?o modelu umo?ňuje generova? vizuálne podobné obrázky v?dy, ke? sa názov vlo?enia pou?ije v genera?nom príkaze. Embeddingy sú zalo?ené na koncepte ?textual inversion“ (textová inverzia), ktory vyvinuli vyskumníci z Telavivskej univerzity v roku 2022 s podporou spolo?nosti Nvidia. Tento koncept spája vektorové reprezentácie ?pecifickych tokenov, ktoré pou?íva textovy enkóder modelu, s novymi pseudo-slovami. Embeddingy m??u by? pou?ité na zní?enie zaujatostí v p?vodnom modeli alebo na napodobňovanie vizuálnych ?tylov.
• ?Hypernetwork“ (hypernetová sie?) je malá predtrénovaná neurónová sie?, ktorá sa aplikuje na r?zne miesta v rámci v???ej neurónovej siete. Ide o techniku vytvorenú vyvojárom Kurumuzom zo spolo?nosti NovelAI v roku 2021, p?vodne ur?enú pre transformátorové modely generujúce text. Hypernetové siete usmerňujú vysledky ur?itym smerom, ?o umo?ňuje modelom zalo?enym na Stable Diffusion napodobňova? umelecky ?tyl konkrétnych umelcov, aj ke? tento umelec nie je rozpoznávany p?vodnym modelom. Obraz spracovávajú tak, ?e identifikujú k?ú?ové oblasti, ako sú vlasy a o?i, a následne tieto oblasti ?opravujú“ v sekundárnom latentnom priestore.
• DreamBooth je model hlbokého u?enia, ktory vyvinuli vyskumníci z Google Research a Bostonskej univerzity v roku 2022. Tento model doká?e doladi? generovanie tak, aby vytváral presné, personalizované vystupy, ktoré zobrazujú konkrétny objekt alebo subjekt. Proces zah?ňa trénovanie na súbore obrázkov, ktoré zobrazujú dany objekt alebo subjekt.

Mo?nosti

Model Stabilnej Difúzie podporuje mo?nos? generova? nové obrázky od nuly pomocou textového popisu (text prompt) popisujúceho prvky, ktoré majú by? zahrnuté alebo vynechané z obrázkového vystupu. Existujúce obrázky m??e model prekresli? tak, aby zah?ňali nové prvky popísané v textovom popise (proces známy ako ?riadená syntéza obrázkov“ ) prostredníctvom mechanizmu od?umovania. Model tie? umo?ňuje pou?itie textu na ?iasto?nú zmenu existujúcich obrázkov pomocou inpainting (prekres?ovania) a outpainting (doma?ovania), ak je model pou?ity s vhodnym pou?ívate?skym rozhraním, ktoré tieto funkcie podporuje. Existuje mno?stvo u?ívate?skych rozhraní s otvorenym zdrojom.

Odporú?a sa pou?íva? model Stabilnej Difúzie s najmenej 10 GB VRAM, av?ak pou?ívatelia s men?ou VRAM sa m??u rozhodnú? spusti? váhy s presnos?ou float16 namiesto predvolenej float32, ?ím sa vykon modelu vyrovná s ni??ím vyu?itím VRAM.

Generovanie obrázku z textu

Demon?trácia efektu negatívnych textovych vyziev (prompts) na generovany obrázok

• Hore: bez negatívnej vyzvy
• V strede: "green trees" (zelené stromy)
• Dole: "round stones, round rocks" (okrúhle kamene, okrúhle skaly)

Skript na vzorkovanie textu na obrázky v rámci Stable Diffusion, známy ako "txt2img", prijíma textovú vyzvu spolu s r?znymi volite?nymi parametrami, ako sú typy vzorkovania, rozmery vystupného obrázku a hodnoty semena. Skript generuje obrázok na základe modelového vykladu vyzvy. Generované obrázky sú ozna?ené nevidite?nym digitálnym vodoznakom, ktory umo?ňuje pou?ívate?om identifikova? obrázok ako generovany Stable Diffusion, hoci tento vodoznak stráca ú?innos? pri zv???ení alebo oto?ení obrázka.

Ka?dá generácia pomocou txt2img bude zah?ňa? konkrétnu hodnotu vstupného parametra, ktory ovplyvňuje vystupny obrázok. Pou?ívatelia m??u zvoli? náhodnú hodnotu vstupného parametra na preskúmanie r?znych generovanych vystupov, alebo pou?i? rovnakú hodnotu na získanie rovnakého vystupu obrázka ako pri predchádzajúcej generácii. Pou?ívatelia m??u tie? upravi? po?et krokov inferencie pre sampler; vy??ia hodnota trvá dlh?iu dobu, zatia? ?o men?ia hodnota m??e vies? k vizuálnym defektom. ?al?ou konfigurovate?nou mo?nos?ou je hodnota ?guidance scale“, ktorá umo?ňuje pou?ívate?ovi upravi?, ako presne vystupny obrázok odpovedá na vyzvu. Experimentálnej?ie prípady pou?itia m??u zvoli? ni??iu hodnotu ?kály, zatia? ?o prípady, ktoré sa zameriavajú na presnej?ie vystupy, m??u pou?i? vy??iu hodnotu.

Dodato?né funkcie text2img poskytujú implementácie front-endu Stable Diffusion, ktoré umo?ňujú pou?ívate?om upravi? váhu pridelenú konkrétnym ?astiam textovej vyzvy. Ozna?ovacie znamienka umo?ňujú pou?ívate?om prida? alebo zní?i? d?raz na k?ú?ové slová ich uzatvorením do zátvoriek. Alternatívna metóda na úpravu váhy ?astí vyzvy sú ?negatívne vyzvy“. Negatívne vyzvy sú funkcia zahrnutá v niektorych implementáciách front-endu, vrátane cloudovej slu?by DreamStudio od Stability AI, a umo?ňujú pou?ívate?om ur?i? vyzvy, ktorym by sa model mal po?as generovania obrázkov vyhnú?. ?pecifikované vyzvy m??u by? ne?iaduce vlastnosti obrázka, ktoré by inak boli prítomné vo vystupoch obrázkov kv?li pozitívnym vyzvam poskytnutym pou?ívate?om alebo kv?li tomu, ako bol model p?vodne trénovany, pri?om zohavené ?udské ruky sú ?astym príkladom.

úprava obrazu

Uká?ka modifikácie obrázka na obrázok (img2img)

• V?avo: Originálny obrázok vytvoreny Stable Diffusion 1.5
• Vpravo: Modifikovany obrázok vytvoreny Stable Diffusion XL 1.0

Stable Diffusion obsahuje aj ?al?í skript na generovanie, ?img2img“, ktory spotrebúva textovú vyzvu, cestu k existujúcemu obrázku a hodnotu sily medzi 0,0 a 1,0. Skript generuje novy obrázok na základe p?vodného obrázka, pri?om do neho pridáva aj prvky uvedené v textovej vyzve. Hodnota sily ozna?uje mno?stvo ?umu pridávaného do vystupného obrázka. Vysoká hodnota sily produkuje v???ie variácie v obrázku, ale m??e tie? vies? k obrázku, ktory nie je vyznamovo konzistentny s poskytnutou vyzvou.

Existujú r?zne metódy na vykonanie img2img. Hlavná metóda je SDEdit, ktorá najsk?r pridá ?um k obrázku, a potom ho ako obvykle od?umí, podobne ako pri text2img.

Schopnos? img2img pridáva? ?um k p?vodnému obrázku m??e by? u?ito?ná na anonymizáciu údajov a augmentáciu údajov, pri ktorej sa vizuálne prvky obrazovych dát menia a anonymizujú. Tento proces m??e by? u?ito?ny aj na upscale obrázkov, kde sa zvy?i rozlí?enie obrázka, pri?om m??e by? pridané viac detailov do obrázka. Okrem toho, Stable Diffusion sa experimentálne pou?íva aj ako nástroj na kompresiu obrázkov. V porovnaní s JPEG a WebP sa v?ak sú?asné metódy pou?ívané na kompresiu obrázkov v Stable Diffusion stretávajú s obmedzeniami pri zachovaní malého textu a tvárí.

?al?ie mo?nosti vyu?itia pre úpravy obrázkov prostredníctvom img2img poskytujú r?zne front-end implementácie modelu Stable Diffusion. Inpainting zah?ňa selektívnu úpravu ?asti existujúceho obrázka, ktorú ur?uje vrstva masky poskytnutá pou?ívate?om, pri?om zamaskované miesto vyplní novym obsahom zalo?enym na poskytnutej vyzve. ?pecializovany model, ktory bol konkrétne doladeny pre inpaintingové prípady pou?itia, vytvorila Stability AI spolu s vydaním Stable Diffusion 2.0. Naopak, outpainting roz?iruje obrázok za jeho p?vodné rozmery, pri?om vyplňuje predtym prázdne miesto obsahom generovanym na základe poskytnutej vyzvy.

Model riadeny h?bkou, nazvany ?depth2img“, bol predstaveny spolu s vydaním Stable Diffusion 2.0 dňa 24. novembra 2022. Tento model odhaduje h?bku z poskytnutého vstupného obrázka a generuje novy vystupny obrázok na základe textového vstupu aj informácií o h?bke. Táto funkcia umo?ňuje zachova? súdr?nos? a h?bku p?vodného vstupného obrázka vo vygenerovanom vystupe.

ControlNet

ControlNet je architektúra neurónovej siete navrhnutá na riadenie difúznych modelov prostredníctvom pridania dodato?nych podmienok. Zdvojuje váhy blokov neurónovej siete do ?uzamknutej“ kópie a ?trénovate?nej“ kópie. ?Trénovate?ná“ kópia sa u?í po?adovanú podmienku, zatia? ?o ?uzamknutá“ kópia zachováva p?vodny model. Tento prístup zaru?uje, ?e tréning s malymi datasetmi párov obrázkov nenaru?í integritu difúznych modelov pripravenych na produkciu. "Nulová konvolúcia" je 1×1 konvolúcia, pri ktorej sú váhy aj bias inicializované na nulu. Pred tréningom v?etky nulové konvolúcie produkujú nulovy vystup, ?ím zabraňujú akejko?vek deformácii sp?sobenej ControlNet. ?iadna vrstva sa netrénuje od nuly; proces stále predstavuje dola?ovanie (fine-tuning), ?o zabezpe?uje bezpe?nos? p?vodného modelu. Táto metóda umo?ňuje tréning na malych datasetoch alebo dokonca na osobnych zariadeniach.

Pou?ívate?ské rozhrania

Stability AI poskytuje online slu?bu generovania obrázkov s názvom DreamStudio. Spolo?nos? tie? vydala verziu s otvorenym zdrojovym kódom DreamStudio s názvom StableStudio. Okrem oficiálnych rozhraní existuje aj mnoho rozhraní s otvorenym zdrojovym kódom od tretích strán, ako napríklad u?ívate?mi najob?úbenej?ie rozhranie AUTOMATIC1111 Stable Diffusion Web UI, ktoré okrem základnych, ponúka mnohé ?al?ie funkcie, Fooocus, ktorého cie?om je zní?i? mno?stvo ?iadostí potrebnych pre pou?ívate?a a ComfyUI, ktory má u?ívate?ské rozhranie zalo?ené na uzloch (nodes), vizuálnom programovacom jazyku podobnom mnohym aplikáciám 3D modelovania.

Vydania

?íslo verzie	Dátum vydania	Parametre	Poznámky
1,1, 1,2, 1,3, 1,4	august 2022		V?etky vydal CompVis. Neexistuje ?iadna "verzia 1.0". 1.1 viedla k 1.2 a 1.2 viedla k 1.3 aj 1.4.
1,5	október 2022	983 mil	Inicializované s váhami 1,2 a nie 1,4. Vydané RunwayML.
2.0	november 2022		Pre?kolené od nuly na filtrovanej mno?ine údajov.
2.1	decembra 2022		Inicializované s váhami 2,0.
XL 1.0	júl 2023	3.5B	Základny model XL 1.0 má 3,5 miliardy parametrov, v?aka ?omu je pribli?ne 3,5-krát v???í ako predchádzajúce verzie.
XL Turbo	november 2023		Destilované z XL 1.0, aby prebiehalo v men?om po?te krokov difúzie.
3.0	Február 2024 (predbe?ná uká?ka)	800 miliónov a? 8B	Rodina modelov.
3,5	október 2024	2,5B a? 8B	Rodina modelov s Large (8 miliárd parametrov), Large Turbo (destilované z SD 3,5 Large) a Medium (2,5 miliardy parametrov).

D?le?ité k?ú?ové papiere

• Learning Transferable Visual Models From Natural Language Supervision (2021). Tento ?lánok opisuje metódu CLIP na tréning textovych enkodérov, ktoré prevádzajú text na desatinné vektory. Tieto textové enkódovania vyu?íva model difúzie na generovanie obrázkov.
• SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations (2021). Tento ?lánok opisuje SDEdit, známe aj ako "img2img".
• Syntéza obrázkov s vysokym rozlí?ením pomocou latentnych modelov difúzie (2021, aktualizované v 2022). Tento ?lánok opisuje latentny model difúzie (LDM). To je základ architektúry Stable Diffusion.
• Classifier-Free Diffusion Guidance (2022). Tento ?lánok opisuje CFG, ktory umo?ňuje textovému enkodovaciemu vektoru nasmerova? model difúzie k vytvoreniu obrázka pod?a textu.
• SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis (2023). Popisuje SDXL.
• Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow (2022). Popisuje usmerneny tok, ktory sa pou?íva ako základná architektúra SD 3.0.
• Scaling Rectified Flow Transformers for High-resolution Image Synthesis (2024). Popisuje SD 3.0.

Náklady na ?kolenie

• SD 2.0: 0,2 milióna hodín na A100 (40 GB).

Stabilná Difúzia 3.5 Large bola sprístupnená pre firemné pou?itie na Amazon Bedrock od Amazon Web Services.

Pou?itie a kontroverzia

Stable Diffusion si nenárokuje ?iadne práva na generované obrázky a u?ívate?om poskytuje práva na pou?ívanie v?etkych generovanych obrázkov za predpokladu, ?e obsah obrázku nie je nelegálny alebo ?kodlivy pre jednotlivcov.

Obrázky, na ktorych bol Stable Diffusion vy?koleny, boli filtrované bez ?udského zásahu, ?o sp?sobilo, ?e sa v tréningovych údajoch objavili niektoré ?kodlivé obrázky a ve?ké mno?stvo súkromnych a citlivych informácií.

Viac tradi?nych vizuálnych umelcov vyjadrilo obavy, ?e ?iroké pou?ívanie softvéru na generovanie obrázkov, ako je Stable Diffusion, by mohlo nakoniec vies? k tomu, ?e ?udskí umelci, fotografi, modelky, kameramani a herci postupne stratia komer?nú ?ivotaschopnos? v sú?a?i s konkurenciou zalo?enou na AI.

Stable Diffusion je v porovnaní s inymi komer?nymi produktmi generatívnej AI ove?a vo?nej?í v type obsahu, ktory m??u pou?ívatelia generova?, ako napríklad násilné alebo sexuálne explicitné obrázky. Na obavy, ?e by mohol by? tento model zneu?ívany, CEO spolo?nosti Stability AI, Emad Mostaque, tvrdí, ?e ?je to zodpovednos? ?udí, aby sa rozhodovali eticky, morálne a legálne, ako túto technológiu pou?ívajú“, a ?e sprístupnenie schopností Stable Diffusion verejnosti prinesie celkovy prospech, napriek potenciálnym negatívnym následkom. Okrem toho Mostaque tvrdí, ?e zámerom otvoreného prístupu k Stable Diffusion je ukon?i? kontrolu a dominanciu korporácií nad takymito technológiami, ktoré predtym vyvíjali uzavreté AI systémy na syntézu obrázkov To je ilustrované aj tym, ?e akéko?vek obmedzenia, ktoré Stability AI ukladá na obsah, ktory m??u pou?ívatelia generova?, m??u by? ?ahko obídené v?aka dostupnosti zdrojového kódu[3].

Kontroverzia okolo fotorealistickych sexualizovanych zobrazení neplnoletych postáv sa objavila v d?sledku zdie?ania takychto generovanych obrázkov na webovych stránkach, ako je Pixiv.

V júni 2024 do?lo k hacku na roz?írenie ComfyUI, pou?ívate?ského rozhrania pre Stable Diffusion, pri?om hackeri tvrdili, ?e úto?ili na pou?ívate?ov, ktorí ?spáchali jeden z na?ich hriechov“, ?o zah?ňalo generovanie AI umenia, kráde?e umenia a propagáciu kryptomien.

Andersen, McKernan a Ortiz proti Stability AI, Midjourney a DeviantArt

Tri umelkyne, Sarah Andersen, Kelly McKernan a Karla Ortiz, podali v januári 2023 ?alobu proti Stability AI, Midjourney a DeviantArt za poru?enie autorskych práv. Tvrdili, ?e tieto spolo?nosti poru?ili práva miliónov umelcov tym, ?e trénovali nástroje AI na piatich miliardách obrázkov získanych z internetu bez súhlasu p?vodnych umelcov.

V júli 2023 sa americky okresny sudca William Orrick priklonil ku zamietnutiu v???iny súdnych sporov, ktoré Andersen, McKernan a Ortiz podali. Umo?nil im v?ak poda? novú s?a?nos?, ?o im poskytlo príle?itos? preformulova? svoje argumenty.

Getty Images proti Stability AI

Spolo?nos? Getty Images iniciovala v januári 2023 súdne konanie proti spolo?nosti Stability AI na najvy??om anglickom súde vo veci údajného poru?enia jej práv du?evného vlastníctva. Getty Images tvrdí, ?e Stability AI ?nazbierala“ milióny obrázkov z webovych stránok spolo?nosti Getty bez súhlasu a pou?ila tieto obrázky na trénovanie a vyvoj svojho modelu Stabilnej Difúzie.

Medzi hlavné body súdneho sporu patria:

• Getty Images tvrdí, ?e tréning a vyvoj Stable Diffusion zah?ňal neoprávnené pou?itie jeho obrázkov, ktoré boli stiahnuté na servery a po?íta?e nachádzajúce sa pravdepodobne vo Ve?kej Británii. Stability AI v?ak tvrdí, ?e cely tréning a vyvoj prebehol mimo Ve?kej Británie, konkrétne v dátovych centrách AWS v USA.
• Stability AI podala ?iados? o zamietnutie a/alebo stiahnutie dvoch nárokov: nárok na tréning a vyvoj a sekundárne poru?enie autorskych práv. High Court v?ak odmietol zamietnu? tieto nároky, ?ím ich umo?nil postupova? k súdnemu konaniu. Súd musí ur?i?, ?i tréning a vyvoj Stable Diffusion prebehol vo Ve?kej Británii, ?o je k?ú?ové pre ur?enie jurisdikcie pod?a Zákona o autorskych právach, dizajnoch a patentoch z roku 1988. (CDPA)
• Sekundárny nárok sa tyka otázky, ?i predtrénovany softvér Stable Diffusion, dostupny vo Ve?kej Británii prostredníctvom platforiem ako GitHub, HuggingFace a DreamStudio, predstavuje ??lánok“ pod?a § 22 a 23 CDPA. Súd rozhodne, ?i pojem ??lánok“ m??e zah?ňa? aj nehmotné polo?ky ako softvér.

O?akáva sa, ?e súdny proces sa uskuto?ní v lete 2025. Má vyznamné d?sledky na Britsky zákon o autorskych právach a ude?ovanie licencií na obsah generovany AI.

Licencia

Na rozdiel od modelov ako DALL-E, Stable Diffusion sprístupňuje svoj zdrojovy kód ako aj samotny model (predtrenované váhy). Pred Stable Diffusion 3 pou?ívala licencia Creative ML OpenRAIL-M, ?o je forma Responsible AI License (RAIL), na model (M). Licencia zakazuje ur?ité pou?ívania, vrátane trestnych ?inov, urá?ky na cti, ob?a?ovania, doxingu, ?vykoris?ovania maloletych“, poskytovania lekárskych rád, automatického vytvárania právnych záv?zkov, poskytovania právnych d?kazov a ?diskriminácie alebo ?kodlivého konania vo?i jednotlivcom alebo skupinám na základe sociálneho správania alebo osobnych alebo osobnostnych vlastností alebo legálne chránenych vlastností alebo kategórií“ Pou?ívate? vlastní práva k svojim generovanym vystupnym obrázkom a m??e ich vo?ne pou?íva? na komer?né ú?ely.

Stable Diffusion 3.5 uplatňuje otvorenú Stability AI Community License, pri?om komer?né podniky s obratom presahujúcim 1 milión dolárov musia pou?íva? Stability AI Enterprise License. Rovnako ako pri OpenRAIL-M licencii, pou?ívate? si ponecháva práva k svojim generovanym vystupnym obrázkom a m??e ich vo?ne vyu?íva? na komer?né ú?ely.

Pozri tie?

• Umelá inteligencia
• Umelá Neurónová Sie?

Externé odkazy

• Demo stabilnej difúzie (v angli?tine)
• Interaktívne vysvetlenie stabilnej difúzie (v angli?tine)
• ?V?etci sme surovina pre AI“ : Vy?etrovanie citlivych a súkromnych údajov v tréningovych údajoch Stabilnej Difúzie (v angli?tine)
• "Negatívne vyzvy v stabilnej difúzii" (v angli?tine)
• "Negatívne vyzvy v stabilnej difúzii" (v angli?tine)