Apple ha recentemente ha annunciato un nuovo LLM (Large Language Models) open source noto come OpenELM (Open-source Efficient Language Models).
In breve
- Apple ha rilasciato un nuovo LLM open source noto come OpenELM.
- OpenELM verrà eseguito localmente sui dispositivi, migliorando la velocità di elaborazione con una maggiore privacy.
- Si prevede che OpenELM supporterà una varietà di funzionalità AI sul dispositivo, comprese versioni più potenti di Siri e altre applicazioni basate sull'intelligenza artificiale.
LLM di Apple verrà eseguito localmente sui dispositivi, realizzando un grande passaggio dalla costosa elaborazione basata sul cloud all'elaborazione sul dispositivo. L'obiettivo principale di Apple per questo LLM è migliorare la velocità di elaborazione con una maggiore privacy.
I modelli OpenELM utilizzano una tecnica di ridimensionamento a livello di livello, che assegna in modo efficace i parametri a ogni livello del modello del trasformatore per aumentare la precisione. Ad esempio, con un budget di circa un miliardo di parametri, OpenELM ha ottenuto un aumento della precisione del 2.36% rispetto al modello precedente, OLMo, ma utilizzando la metà della quantità di token di pre-addestramento.
Questo metodo non solo aumenta la velocità, ma riduce anche il carico computazionale sui dispositivi, che è fondamentale per eseguire applicazioni di intelligenza artificiale direttamente sull’hardware consumer.
Caratteristiche e capacità
Il progetto OpenELM ha diversi elementi principali che lo distinguono dai modelli AI precedenti:
- Disponibilità open source: Apple ha reso disponibile OpenELM su Hugging Face Hub, consentendo a sviluppatori e ricercatori di accedere e partecipare al suo sviluppo.
- Quadro formativo completo: A differenza dei modelli tradizionali, che forniscono semplicemente i pesi del modello e il codice di inferenza, la versione OpenELM contiene l'intera infrastruttura per l'addestramento e la valutazione dei set di dati disponibili pubblicamente. Include record di formazione, numerosi traguardi e configurazioni pre-formazione.
- Maggiore privacy e velocità: poiché OpenELM viene eseguito sul dispositivo, non è necessario inviare dati ai server cloud, il che migliora la privacy dell'utente. Inoltre, l’elaborazione locale riduce al minimo la latenza, con conseguenti tempi di reazione più rapidi per le funzionalità basate sull’intelligenza artificiale sul dispositivo .
Integrazione con iOS
Apple intende includere OpenELM nella futura versione di iOS 18, che probabilmente includerà diverse nuove funzionalità AI. Si prevede che l’integrazione di OpenELM supporterà una varietà di funzionalità AI sul dispositivo, comprese versioni più potenti di Siri e altre applicazioni basate sull’intelligenza artificiale.