Искусственный интеллект проверили на знание истории, традиций и культуры казахского народа. Он прошел специальный тест из 500 вопросов, передает корреспондент агентства Kazinform.
Об этом рассказала руководитель совместного проекта Международного общества «Қазақ тілі» и OpenAI Анар Курманжанкызы на презентации.
По ее словам, сейчас уровня владения казахским языком системами искусственного интеллекта оценивает специально разработанная программа AI Evaluation Benchmark Suite.
Система оценки тестирует большие языковые модели по таким направлениям, как понимание, грамматика, естественность казахской речи, использование пословиц, поговорок и устойчивых выражений, академический перевод, художественный перевод с казахского на английский язык, перевод детской литературы, безопасность и знание этнографии. Система оценки не была переведена с английского языка, а изначально разработана на казахском с учетом языковых и культурных особенностей казахского языка
— рассказала Курманжанкызы.
Для оценки знаний ИИ об истории, культуре и традициях казахского народа разработали отдельный этнографический тест.
Разработан полноценный бенчмарк, включающий 500 вопросов. Он позволяет оценить знания больших языковых моделей об истории, традициях и культуре казахского народа. Модель GPT-5.6 Terra, прошедшая тестирование на этом бенчмарке, показала точность 35,92%. В дальнейшем планируется сделать этнографический бенчмарк доступным научному сообществу. Это позволит использовать его в качестве инструмента для оценки других языковых моделей
— рассказала Анар Курманжанкызы.
Ранее сообщалось, что для улучшения ответов от ChatGPT на казахском языке специалисты собрали текстовую базу на 14 млрд токенов.
Напомним, Казахстан заключил соглашение с OpenAI 7 ноября 2025 года в рамках визита Главы государства в США.
Наше сообщество в Вконтакте. Подпишись, чтобы быть в курсе новостей!