Apple heeft onlangs aangekondigd een nieuwe open-source LLM (Large Language Models), bekend als OpenELM (Open-source Efficient Language Models).
Kortom
- Apple heeft een nieuwe open-source LLM uitgebracht, bekend als OpenELM.
- OpenELM zal lokaal op apparaten draaien, waardoor de verwerkingssnelheid wordt verbeterd met verbeterde privacy.
- OpenELM zal naar verwachting een verscheidenheid aan AI-functies op het apparaat ondersteunen, waaronder krachtigere versies van Siri en andere AI-aangedreven applicaties.
Apple's LLM zal lokaal op apparaten draaien, wat een grote verschuiving betekent van kostbare cloudgebaseerde verwerking naar verwerking op het apparaat. De belangrijkste focus van Apple voor deze LLM is het verbeteren van de verwerkingssnelheid met verbeterde privacy.
OpenELM-modellen maken gebruik van een laagsgewijze schaaltechniek, die effectief parameters toewijst aan elke laag van het transformatormodel om de nauwkeurigheid te vergroten. Met een budget van ongeveer een miljard parameters behaalde OpenELM bijvoorbeeld een nauwkeurigheidswinst van 2.36% ten opzichte van zijn voorganger, OLMo, maar met de helft van het aantal pre-trainingtokens.
Deze methode verhoogt niet alleen de snelheid, maar vermindert ook de rekenlast op apparaten, wat van cruciaal belang is voor het rechtstreeks uitvoeren van AI-applicaties op consumentenhardware.
Functies en mogelijkheden
Het OpenELM-project heeft verschillende belangrijke elementen die het onderscheiden van eerdere AI-modellen:
- Beschikbaarheid van open source: Apple heeft OpenELM beschikbaar gemaakt op de Hugging Face Hub, waardoor ontwikkelaars en onderzoekers toegang hebben tot en deelnemen aan de ontwikkeling ervan.
- Uitgebreid trainingskader: In tegenstelling tot traditionele modellen, die eenvoudigweg modelgewichten en gevolgtrekkingscode leveren, bevat de OpenELM-release de volledige infrastructuur voor het trainen en evalueren van openbaar beschikbare datasets. Deze bevat trainingsrecords, vele mijlpalen en pre-trainingsinstellingen.
- Verbeterde privacy en snelheid: Omdat OpenELM op het apparaat draait, is het niet nodig om gegevens naar cloudservers te sturen, wat de privacy van de gebruiker verbetert. Bovendien minimaliseert lokale verwerking de latentie, wat resulteert in snellere reactietijden voor AI-aangedreven functies op het apparaat .
Integratie met iOS
Apple is van plan OpenELM op te nemen in de toekomstige iOS 18-versie, die waarschijnlijk verschillende nieuwe AI-functies zal bevatten. De integratie van OpenELM zal naar verwachting een verscheidenheid aan AI-functies op het apparaat ondersteunen, waaronder krachtigere versies van Siri en andere AI-aangedreven applicaties.