proxifier代理规则

最近，Meta公司发布了名为LIama 3的强大开源大语言模型，据官方称，它在两个定制的24K GPU集群上进行训练，效率比LIama 2提高了三倍。其中，LIama 3-8B和LIama 3-70B是首批亮相的版本。从官方提供的人类评估数据集来看，LIama 3-70B的表现全面超越了Claude Sonnet、Mistral Medium和GPT-3.5，这确实是一项令人惊叹的技术成就。

既然LIama 3是开源的，那么自然可以在本地进行部署。对于我们这些拥有锐龙7 7800X3D+RX 7900 XT游戏主机的人来说，扩展主机的AI聊天功能是一个很好的选择。本地部署的好处在于，我们可以随时随地无网络使用，并且更好地保护个人隐私。

我的主机搭载了一款性能强大的蓝宝石RX 7900 XT超白金OC L显卡，它拥有豪华用料和出色的散热性能。配合的是锐龙7 7800X3D处理器，这款处理器的TDP只有65W，使用了微星MAG B650M MORTAR WIFI迫击炮主板，它拥有低调的纯黑风格外观和强大的供电能力。

为了充分驱动锐龙7 7800X3D和RX 7900 XT的高端配置，我选择了微星MPG A1000G PCIE5电源，它通过了80PLUS金牌认证，非常可靠。它的亮点是符合ATX 3.0标准并支持PCIe 5.0，输出功率高达600W。

在硬件配置方面，我开启了锐龙7 7800X3D的PBO技术，并配备了四根DDR5 6000C34内存，总计64GB容量。本次测试使用的是AMD Adrenalin 24.4.1版本的显卡驱动，操作系统是Windows 11 23H2版本。在BIOS中，我开启了Resizable BAR技术以提升显卡性能。

对于本地部署LIama 3，我推荐使用LM Studio软件，它操作简单，对AMD硬件友好，并且支持丰富的模型。安装LM Studio后，我们可以在其中搜索并下载模型。为了顺利下载模型，可能还需要使用Proxifier软件来转换HTTP代理为Socks5代理。

接下来，我将使用RX 7900 XT来测试多个不同类型和参数量的大模型，包括OpenHermes-2.5-Mistral-7B、Meta Llama 3-8B、Qwen 1.5-14B、Qwen 1.5-32B、Qwen 1.5-72B以及Meta Llama 3-70B。我将使用AMD ROCm加速，并观察它们之间的推理速度和结果差异。

在测试中，我发现Qwen 1.5-32B的推理结果最为详细和准确，但推理过程需要停顿两秒。而Meta Llama 3-8B的推理效果最为均衡，速度也相对较快。对于大模型如Qwen 1.5-72B和Meta Llama 3-70B，它们对硬件性能的要求较高，尤其是显存方面。我的RX 7900 XT的20GB GDDR6显存可以胜任这些模型的需求。

RX 7900 XT在大语言模型领域的性能表现令人满意。通过本地部署LIama 3，我们可以充分利用AMD的硬件优势，享受更高效的AI体验。如果你也想为你的AMD游戏主机扩展AI聊天功能，不妨参考本文的硬件配置和方法。