удалённое

[2003]

Итак, появилась модель которая превосходит GPT 3.5 в переводе с японского на английский.

Вполне себе шустро работает, нужно как минимум 8 гигабайт видеопамяти, чтобы полностью уместить 5 или 6 квант данной модели в памяти.

За сим, сделал небольшой интерфейс для удобства, работает в паре с kobold.cpp и textractor. То есть берет японский текст из буффера обмена который предоставляет textractor и через апи кобольда переводит его.

kobold.cpp - Releases · LostRuins/koboldcpp · GitHub
Модель - https://huggingface.co/lmg-anon/vntl-llama3-8b-gguf

Сам textractor - Releases · Artikash/Textractor (github.com)

Кому интересно - https://drive.google.com/file/d/1fYMY0PaO2aOsassFwA_WvJ8eOD-1HDf9/view?usp=sharing сам фронт.
Исходники (Дисклеймер: я не прогромист/веб разработчик лучше не смотреть можно получить инфаркт) - https://drive.google.com/file/d/1fYMY0PaO2aOsassFwA_WvJ8eOD-1HDf9/view?usp=sharing

Видео фрагмент с использованием другой модели.

"Когда прошла мимо ОД с узлом на рубашке."