Det amerikanska NPU-företaget Kneron har nu lanserat sitt KL1140-chip, något som företaget betraktar som en viktig milstolpe inom AI-beräkning. KL1140 tar enligt Kneron kraftfulla LLM:er till edge-enheter och levererar högpresterande AI med upp till 3 gånger högre energieffektivitet och 10 gånger lägre kostnader, jämfört med nuvarande lösningar.
Enligt Kneron kommer KL1140 vid en kritisk vändpunkt för AI-industrin. I takt med att verkliga tillämpningar av AI accelererar och biljoner i investeringar öronmärkts för datacenterinfrastruktur, riskerar branschen att kollapsa under sina egna beräknings- och energibehov.
AI-företag kämpar för att begränsa inferenskostnader som fortsätter att stiga snarare än att falla, och den globala energiefterfrågan från datacenter förväntas nå 175 GW eller mer år 2035. Molnbaserad AI är allt dyrare, långsammare, strömkrävande och mindre säker.
– Det dubbla hotet om höga kostnader och enorm energiförbrukning innebär att ett status quo för AI-beräkning är fundamentalt ohållbart, säger Albert Liu, grundare och vd för Kneron.
– KL1140 är vårt svar på utmaningarna med att skala LLM:er enbart i molnet. Genom att köra avancerade modeller vid kanten uppnår vi en teknisk milstolpe som öppnar upp helt nya tillämpningar för vardagliga enheter, vilket lägger kraften hos LLM:er direkt i användarnas händer.
Bryter prestandabarriären för Edge AI
KL1140 är det första NPU-chipet som kan köra fullständiga Mamba-nätverk vid kanten, en enligt Kneron teknisk milstolpe som flyttar kraftfulla LLM:er från kostsamma molndatacenter till bärbara enheter. Genom att kaskadkoppla fyra KL1140-chips kan prestandan motsvara en GPU för att köra modeller med upp till 120 miljarder parametrar, samtidigt som den bara förbrukar en tredjedel till hälften så mycket ström och minskar hårdvarukostnaderna med 10 gånger. Oberoende benchmarking av UC Berkeley har enligt Kneron bekräftat att företaget är den första edge-processorn som bryter effektivitetsbarriären.
KL1140 är designad för realtidsbehandling av naturligt språk, röstgränssnitt, intelligent vision, robotik med mera, och gör det möjligt för utvecklare och företag att distribuera sofistikerade AI-applikationer lokalt och säkert på bärbara enheter utan att vara beroende av molninfrastruktur. Den eliminerar också den fördröjning som är förknippad med molnresponser.
Verkliga tillämpningar av KL1140 kan inkludera:
- En säkerhetsrobot som förstår kommandon på naturligt språk och känner igen komplexa situationer – utan att behöva en WiFi-anslutning till ett datacenter
- Ett fordonssystem som kör sofistikerad AI för röstkommandon och beslutsfattande helt i bilen – ingen molnfördröjning, fungerar även utan mobiltäckning
- En privat företags AI-assistent som körs på en liten edge-server på ett kontor – och håller känslig data lokalt istället för att skicka den till molnet
- Smart tillverkningsutrustning som kan analysera video, förstå röstkommandon och fatta intelligenta beslut lokalt på fabriksgolvet
– KL1140:s ankomst är mer än bara ytterligare en chiplansering, det är en brytpunkt på resan mot praktisk, högpresterande och hållbar AI. Genom att ta intelligens till kanten gör vi det möjligt för utvecklare och företag att skapa applikationer som var omöjliga tidigare, säger Liu.
Kneron har snabbt expanderat från en edge-chipdesigner till ett fullstack AI-infrastrukturföretag. Företaget har redan levererat suveräna AI-projekt för sjukhus, universitet och myndigheter, vilket enligt företaget bevisar deras förmåga att stödja säkra, lokala AI-implementeringar. Kneron utökar också sitt Edge AI-ekosystem genom sin KNEO Pi-utvecklarplattform, som redan används av fler än 28 000 utvecklare världen över. Parallellt kommer partnerskapet med Taiwan Spark Technology att möjliggöra gemensam tillverkning av LLM-servrar som drivs av Kneron-chip. Enligt företaget så positionerar dessa ansträngningar Kneron som ett av få företag som bygger AI-infrastruktur från början till slut, från chips till serversystem.
Sedan starten 2015 har Kneron uppmärksammats för sin omkonfigurerbara NPU-arkitektur och har fått utmärkelser, inklusive IEEE CAS Darlington Award för banbrytande teknik. Företaget stöder kunder inom AIoT, säkerhet, fordonsindustrin och edge-serverapplikationer, inklusive Toyota, Quanta, Hanwha och Dessmann, bland andra, och bidrar till att driva innovation samtidigt som latens, energianvändning och kostnader minskas.
