Όταν τα κορυφαία μοντέλα τριών AI γιγάντων—OpenAI, Anthropic και Google—βρίσκονται αντιμέτωπα στην ίδια αρένα, ποιο είναι καλύτερο στον χειρισμό ρομπότ;
Στις 20 Οκτωβρίου, το RoboColiseum, μια πλατφόρμα ενσωματωμένης τεχνητής νοημοσύνης που συνιδρύθηκε από σχεδόν 20 πανεπιστήμια, επιχειρήσεις και ερευνητικά ιδρύματα παγκοσμίως—συμπεριλαμβανομένων των Mifeng Technology, Hugging Face, NVIDIA και Πανεπιστημίου Tsinghua—δημοσίευσε τα αποτελέσματα της τρέχουσας αξιολόγησης: το Claude Opus 5.5 κατέλαβε την πρώτη θέση στη συνολική κατάταξη των τεσσάρων κορυφαίων μοντέλων, με το GPT-6 Astra να ακολουθεί στενά.
Αναλυτικότερα, μεταξύ των τεσσάρων κορυφαίων μοντέλων, το GPT-6 Astra ηγείται στην ακολούθηση οδηγιών και στη συνολική προσαρμογή σε διαταραχές, με βαθμολογία 99.35 στην ακολούθηση οδηγιών· το Opus υπερτερεί στην κατανόηση χώρου και στις γενικές λειτουργίες, και κατέκτησε την πρώτη θέση στη συνολική κατάταξη της κατηγορίας κορυφαίων μοντέλων με τη χαμηλότερη κατανάλωση token σε όλους τους γύρους αξιολόγησης. Στη δοκιμή με διαταραχές στην ποιότητα εικόνας, το GPT-6.1 Sol υστέρησε σαφώς έναντι των άλλων τριών μοντέλων, αναδεικνύοντας διαφορές στη σταθερότητα των διαφόρων μοντέλων όταν αντιμετωπίζουν μεταβολές οπτικών πληροφοριών.
Ωστόσο, τις δύο πρώτες θέσεις της συνολικής κατάταξης αυτού του γύρου εξακολουθούν να καταλαμβάνουν μοντέλα ενσωματωμένων στρατηγικών, διατηρώντας πλεονέκτημα ιδίως στη διάσταση των γενικών λειτουργιών.
Αυτή η κοινή αναμέτρηση παρέχει στον κλάδο μια άμεση αναφορά για να διακρίνει κανείς τα πλεονεκτήματα και τις αδυναμίες των γενικών μεγάλων μοντέλων και των μοντέλων ενσωματωμένων στρατηγικών.
Το RoboColiseum, με άξονες την ακολούθηση οδηγιών, την κατανόηση χώρου, την προσαρμογή σε διαταραχές και τις γενικές λειτουργίες, παρουσιάζει τέσσερις υποκαταστάσεις ικανοτήτων και 78 εργασίες αξιολόγησης υψηλής πιστότητας σε προσομοίωση, αποτυπώνοντας τόσο τις επιμέρους επιδόσεις των μοντέλων όσο και τα βήματα ολοκλήρωσης των εργασιών και τα σημεία αποτυχίας, βοηθώντας τους προγραμματιστές να εντοπίζουν γρήγορα τις αδυναμίες των μοντέλων.
Ως συνιδρυτής, η Mifeng παρέχει στο RoboColiseum περιουσιακά στοιχεία αντικειμένων υψηλής πιστότητας και σενάρια προσομοίωσης, υποστηρίζοντας τη δημιουργία περιβαλλόντων αξιολόγησης για σύνθετες ρομποτικές εργασίες χειρισμού, και παρέχοντας βασικούς πόρους για τη δοκιμή των ικανοτήτων των μοντέλων σε διαφορετικές αλληλεπιδράσεις αντικειμένων, χωρικές διατάξεις και περιβαλλοντικές συνθήκες.
Το κατά πόσον οι επιδόσεις των μοντέλων στην προσομοίωση μπορούν να αντικατοπτρίσουν την πραγματική απόδοση χειρισμού αποτελεί επίσης κρίσιμο ζήτημα της αξιολόγησης. Σύμφωνα με τα πραγματικά αποτελέσματα που δημοσίευσε η πλατφόρμα, η συσχέτιση μεταξύ της αξιολόγησης προσομοίωσης του RoboColiseum και της ανάπτυξης σε πραγματικό ρομπότ φτάνει το 89.5%, και η διαφορά αξιολόγησης του ίδιου μοντέλου μεταξύ προσομοίωσης και πραγματικού κόσμου είναι μικρότερη του 10%, παρέχοντας αναφορά για την επιλογή μοντέλων και τον εντοπισμό προβλημάτων πριν οι προγραμματιστές προχωρήσουν σε δοκιμές σε πραγματικό ρομπότ.
Η Mifeng Technology παρέχει ένα σύστημα παροχής δεδομένων «πλήρες, ποιοτικό και ταχύ», που καλύπτει τρία βασικά παραδείγματα δεδομένων: πραγματικού ρομπότ, προσομοίωσης και χωρίς σώμα. Στον τομέα της προσομοίωσης, η Mifeng παρέχει δύο κατηγορίες πόρων—περιουσιακά στοιχεία αντικειμένων και περιουσιακά στοιχεία περιβάλλοντος—καλύπτοντας ποικίλα καθημερινά αντικείμενα και εσωτερικούς χώρους, και προσφέρει δυνατότητες όπως ανακατασκευή σκηνικών, απόκτηση δεδομένων τροχιών ειδικών και οπτικοποίηση αποτελεσμάτων αξιολόγησης, βοηθώντας τις ομάδες μοντέλων να διεξάγουν ποικίλη εκπαίδευση και αξιολόγηση.
Το Coliseum αναφέρεται αρχικά στο κυκλικό αμφιθέατρο της αρχαίας Ρώμης· το RoboColiseum χρησιμοποιεί αυτή την εικόνα για να构建 ένα πολυδιάστατο σύστημα συστηματικής αξιολόγησης, δημιουργώντας για τα μοντέλα ενσωματωμένης νοημοσύνης μια δημόσια, ουδέτερη και αναπαραγώγιμη «αρένα» και «χώρο εκπαίδευσης» μέσω αξιολόγησης προσομοίωσης με υψηλή συμφωνία με τις επιδόσεις σε πραγματικό ρομπότ. Οποιοδήποτε πανεπιστήμιο, ερευνητικό ίδρυμα ή εταιρεία-προγραμματιστής μπορεί να υποβάλει το μοντέλο του και να υποβληθεί σε ένα τυποποιημένο «διαγώνισμα». Από την έναρξη λειτουργίας τον Αύγουστο, περισσότερες από 100 ομάδες από την Ελλάδα και το εξωτερικό έχουν διεξαγάγει εκπαίδευση και αξιολόγηση μοντέλων στην πλατφόρμα.
Το RoboColiseum είναι πλέον ανοιχτό σε προγραμματιστές παγκοσμίως και οι ομάδες μοντέλων είναι ευπρόσδεκτες να συμμετάσχουν στην αξιολόγηση.
