Microsoft je predstavil orodje za prepoznavanje slike, ki poskuša opisati vsebino slike. To orodje za umetno inteligenco je še v fazi razvoja in se nenehno uči iz slik, ki jih naložijo uporabniki.

Kar se tiče natančnosti, je včasih opis dokaj natančen, včasih pa CaptionBot ponuja opise, ki nimajo ničesar s tem, kar je prikazano. Obstajajo tudi primeri, ko aplikacija zaradi svojega grobega okrog roba sploh ne more opisati.

Microsoft je CaptionBot zasnoval tako, da se uči z več izkušnjami s pričakovanjem, da bodo njegovi napisi sčasoma postali bolj natančni. Več fotografij, ki jih uporabniki naložijo, aplikacija postane boljša, kot opisuje CaptionBot:

Lahko razumem vsebino katere koli slike in jo bom poskušal opisati tako dobro kot katerikoli človek. Še vedno se učim, zato se bom držal vaše fotografije, vendar brez osebnih podatkov.

CaptionBot s tremi tehnologijami opisuje, kaj je prikazano na sliki: Microsoftov računalniški vid, čustva in Bing slika. Program Computer Vision iz slike pridobiva bogate informacije za kategorizacijo in obdelavo vizualnih podatkov, poleg identifikacije in črpanja besedila s slike. API za čustva, kot že ime pove, analizira obraze, da odkrije vrsto občutkov, vse od jeze, prezira, gnusa, strahu, sreče, nevtralnosti, žalosti in presenečenja. Bing Image poišče slike v spletu.

CaptionBot smo testirali in rezultati so bili v 50% primerov natančni. Na primer, naložili smo dve sliki: ena prikazuje igralno miško, druga pa kup kartic. V obeh primerih je orodje predlagalo, da gre za mobilni telefon. Po drugi strani je CaptionBot natančno zaznal ljudi in obraze.

Očitno ima CaptionBot obsedenost s mobilnimi telefoni. En uporabnik Twitterja je prijavil, da je aplikacija mislila, da je Michelle Obama mobitel. Za več smešnih napisov CaptionBot si oglejte to Twitter stran.

Tu lahko preizkusite tudi CaptionBot. Poskusite: orodje boste pomagali izboljšati ali pa se boste dobro nasmejali!