Сравнително изследване на AI производителността с NVIDIA RTX 4070 SUPER, RTX 5070 и RTX 5070 Ti

Проведох серия от тестове с локалния AI модел Qwen3 14B чрез Ollama, за да сравня скоростта на генериране на текст при различни видеокарти и операционни системи.

Резултати от тестовете

• RTX 4070 SUPER (Windows) – 49,08 токена/сек.
• RTX 5070 (Windows 11) – 52,06 токена/сек.
• RTX 5070 (Linux 11) – 63,19 токена/сек.
• RTX 5070 Ti (Linux) – 82,20 токена/сек.

Най-висока производителност показа RTX 5070 Ti, достигайки 82,20 токена в секунда.

Интересен резултат е и RTX 5070, която под Linux постигна приблизително 21% по-висока скорост спрямо Windows. Разликата е отчетена при конкретните тестови конфигурации и не може да се отдаде единствено на операционната система.

Изследването показва колко съществено значение имат хардуерът и софтуерната конфигурация при локалното използване на изкуствен интелект.

Мартин Петров | mpetrov.net