Microsoft lancia Phi-3, il suo modello AI più piccolo fino ad oggi

Microsoft ha lanciato la prossima versione del suo modello leggero basato sull'intelligenza artificiale, il Phi-3 Mini, il primo dei tre mini modelli che l'azienda prevede di rilasciare.

Phi-3 Mini misura 3,8 miliardi di parametri e viene addestrato su un set di dati più piccolo rispetto a Phi-3 Mini Modelli linguistici di grandi dimensioni come GPT-4. È ora disponibile su Azure, Hugging Face e Ollama. Microsoft prevede di rilasciare Phi-3 Small (parametri 7B) e Phi-3 Medium (parametri 14B). I parametri indicano il numero di istruzioni complesse che il modello può comprendere.

L'azienda ha lanciato il Phi-2 a dicembre, che ha funzionato in modo simile a modelli più grandi come il Llama 2. Microsoft afferma che il Phi-3 ha prestazioni migliori rispetto alla versione precedente e può fornire risposte vicine a un modello 10 volte più grande di lui.

afferma Eric Boyd, vicepresidente aziendale di Microsoft Azure AI Platform il bordo Phi-3 Mini ha funzionalità simili ai programmi LLM come GPT-3.5 “solo in un fattore di forma più piccolo”.

Rispetto alle loro controparti più grandi, i modelli di intelligenza artificiale sono piccoli Spesso sono più economici da gestire e hanno prestazioni migliori a livello personale Dispositivi come telefoni e laptop. l'informazione All’inizio di quest’anno ho riferito che Microsoft stava creando un team specificamente focalizzato su modelli di intelligenza artificiale leggeri. Insieme a Phi, l'azienda ha anche creato Orca-Math, un modello incentrato sulla risoluzione di problemi matematici.

Gli sviluppatori hanno addestrato Phi-3 utilizzando un “programma”, afferma Boyd. Sono stati ispirati dal modo in cui i bambini imparano dalle favole della buonanotte, dai libri che contengono parole più semplici e dalle strutture delle frasi che parlano di argomenti più ampi.

“Non ci sono abbastanza libri per bambini in circolazione, quindi abbiamo preso un elenco di oltre 3.000 parole e abbiamo chiesto a un LLM di creare 'libri per bambini' per insegnare Fai”, afferma Boyd.

Ha aggiunto che Phi-3 si basa semplicemente su ciò che hanno imparato le iterazioni precedenti. Mentre Phi-1 si è concentrato sulla programmazione e Phi-2 ha iniziato a imparare a pensare, Phi-3 è migliore nella programmazione e nel ragionamento. Sebbene la suite di modelli Phi-3 conosca alcune conoscenze generali, non può battere GPT-4 o un altro LLM in termini di ampiezza: c'è una grande differenza nel tipo di risposte che puoi ottenere da un LLM completamente online rispetto a un modello più piccolo come Phi -3.

Boyd afferma che le aziende spesso scoprono che i modelli più piccoli come il Phi-3 funzionano meglio per le loro applicazioni personalizzate, poiché, per molte aziende, i loro set di dati interni saranno comunque più piccoli. Poiché questi modelli utilizzano meno potenza di calcolo, sono spesso molto più convenienti.