NVIDIA Open-Sources Nemotron-Mini-4B-Εσωτερικές μοντέλο AI για ανάπτυξη on-device

Στις 15 Σεπτεμβρίου, η MarkTechPost, μια τεχνολογική έξοδος μέσων ενημέρωσης, ανέφερε ότι η NVIDIA έχει ανοίξει το μοντέλο AI του Nemotron-Mini-4B-Intruct, σηματοδοτώντας ένα άλλο ορόσημο στην καινοτομία της εταιρείας στον χώρο AI.

Το μοντέλο AI που έχει σχεδιαστεί Nemotron-Mini-4B είναι ειδικά σχεδιασμένο για εργασίες όπως η αναπαραγωγή ρόλων, η παραγωγή ανάκτησης (RAG) και η κλήση λειτουργίας.Πρόκειται για ένα μικρό μοντέλο γλώσσας (SLM), αποσταγμένο και βελτιστοποιημένο από το μεγαλύτερο μοντέλο Nemotron-4 15b.

Η NVIDIA χρησιμοποίησε προηγμένες τεχνικές AI, όπως κλάδεμα, κβαντοποίηση και απόσταξη για να δημιουργήσει ένα μικρότερο και πιο αποτελεσματικό μοντέλο, καθιστώντας το ιδιαίτερα κατάλληλο για ανάπτυξη σε συσκευές.

Παρά το μειωμένο μέγεθος του, η απόδοση του μοντέλου σε συγκεκριμένα σενάρια, όπως το παιχνίδι ρόλων και η κλήση λειτουργίας, παραμένει ασυμβίβαστη, καθιστώντας την πρακτική επιλογή για εφαρμογές που απαιτούν γρήγορες απαντήσεις κατά παραγγελία.

Το μοντέλο AI που ενσωματώνει το μοντέλο AI της Minitron-4B-Base, το μοντέλο AI Nemotron-Mini-4B-Intruct ενσωματώνει την τεχνολογία συμπίεσης LLM.Ένα από τα πιο αξιοσημείωτα χαρακτηριστικά του είναι η ικανότητά του να χειρίζεται ένα παράθυρο περιβάλλοντος 4096-token, επιτρέποντάς του να παράγει μακρύτερες και πιο συνεκτικές απαντήσεις.