肇鑫的日常博客

日常

关于本地跑大模型我的想法

我之前还有想法想要换成64GB内存的电脑,这样可以更好的地跑本地大模型。但是随着我对于本地大模型使用的增加,我现在开始觉得购买性能更强大的电脑跑本地大模型,可能不是一笔划算的买卖。

这是因为,最近几年,支持本地大模型的新硬件层出不穷,算力的提升没几个月就提升一个台阶。因此,现在花大钱购买的支持本地大模型产品,可能几个月后同价格就有更好的产品。

此外,本地大模型目前的运行,都还是折衷的产品。要么是模型规模小,要么是模型在使用时必须是缩限的版本。究其原因,还是可以利用的显存不足。并且,实际输出的结果和速度也不如线上。

并且线上大模型价格也在不断降低,甚至还有的处于测试阶段的大模型,使用是免费的。

那么是不是本地跑大模型就一无是处了呢?也不是。本地大模型更适合需要消耗大量token的领域。比如,图片识别(以文搜图)。跑这类应用,如果使用在线大模型,会消耗大量token,不够经济。此时用本地大模型来跑,就划算很多了。

墙最大的问题就是浪费时间

按照我国的网络环境,不翻墙是不行的。好多最新的技术根本接触不到。但是翻墙也不是你花了钱,研究了之后就能一劳永逸了。还需要不断的总结、学习、应对新情况。

研究如何翻墙需要大量时间

以我自己为例,最初是采用每个设备单独翻墙的方式。这么做的缺点是翻墙软件需要一直开着,对于一些移动设备来说,耗电较大。

并且有的设备,比如Apple TV不支持翻墙软件(现在支持了),使用起来十分困难。

后来我改成了使用路由翻墙的方式。这么做,通过该路由上网的设备就等能翻墙了。不过,这个也有缺点,就是路由的性能有限,并不能全部发挥出VPS服务器的性能。以我的小米AX3600路由为例,下载速度只能打到3MB/s左右。如果用电脑翻墙,则速度可以达到10MB/s以上。

翻墙后还需要再次考虑如何获得最大的翻墙网速

我最新的策略是,路由器翻墙,然后在路由器翻墙的软件里选择局域网过滤,在黑名单中添加我的台式机,然后台式机使用单独的翻墙软件。

这样台式机就可以单独使用翻墙软件,并不受路由器性能的影响。而路由器翻墙可以保证Apple TV翻墙,并且使用电池的移动设备也可以不必运行翻墙软件。

不过台式机使用单独的翻墙软件之后,还有一点需要注意。就是Clash要使用Pro版,不然的话,一些软件比如GitHub Desktop,会无法正常使用。

买个苹果商店礼品卡,差点儿翻车!

需要给美区苹果商店充值。怕直接扣信用卡被封号,决定用礼品卡充值。结果遇到两个坎儿,差点儿翻车。

首先想到的就是去亚马逊直接购买礼品卡,这一步开始很顺畅,下单之后,提示说需要5分钟来发货到我的邮箱。结果时间过了之后,也没收到邮件。重新登录亚马逊,居然账号被封控了,说是可能有人盗我的号,然后重新验证登录。反复验证登录了好几轮,终于重新登录到了亚马逊。然后再一看,订单没了,历史记录里也没有。只好重新下单。

这次还不错,很快收到了邮件。结果点开链接取兑换码的时候,居然403,被取码网站给屏蔽了。

这是要翻车的节奏啊!不慌,我拿出手机,点掉无线连接。然后打开VPN,打开邮箱,再次点兑换码链接,这次终于打开网站了。成功充值!

成功下车!