肇鑫的日常博客

日常

关于本地跑大模型我的想法

我之前还有想法想要换成64GB内存的电脑,这样可以更好的地跑本地大模型。但是随着我对于本地大模型使用的增加,我现在开始觉得购买性能更强大的电脑跑本地大模型,可能不是一笔划算的买卖。

这是因为,最近几年,支持本地大模型的新硬件层出不穷,算力的提升没几个月就提升一个台阶。因此,现在花大钱购买的支持本地大模型产品,可能几个月后同价格就有更好的产品。

此外,本地大模型目前的运行,都还是折衷的产品。要么是模型规模小,要么是模型在使用时必须是缩限的版本。究其原因,还是可以利用的显存不足。并且,实际输出的结果和速度也不如线上。

并且线上大模型价格也在不断降低,甚至还有的处于测试阶段的大模型,使用是免费的。

那么是不是本地跑大模型就一无是处了呢?也不是。本地大模型更适合需要消耗大量token的领域。比如,图片识别(以文搜图)。跑这类应用,如果使用在线大模型,会消耗大量token,不够经济。此时用本地大模型来跑,就划算很多了。

京东售后在物流这一块存在很大的问题

上个月快月底,京东购买的联合创新的32寸4K显示器坏了。不是显示方面的问题,是音箱不响了。联系京东售后,京东上门取件,检测,然后告知我因为京东没有厂家的维修授权,所以维修只能返厂。返厂需要15到30天。我虽然不满,当初京东没有将维修一定需要返厂在产品的销售页面写出来,也只能同意返厂维修。

8月31日提示返厂,期间维修单状态一直没变,直到9月13日,才提示已经返回京东。期间,我与京东维修、客服多次沟通,告知我这个是由京东物流配送的,但是却始终拿不出单号来。

9月14日,在我的催促下,返厂后的显示器经过京东的二次检测,即将返回给我,14晚7点多,系统显示了一个京东快递的单号,提示等待取件。可是直到刚刚,也就是15日上午接近11时,这个快递还是在取件的状态。这还是在我9点半打京东客服电话催促过一次之后。

要知道,现在一般快递,都是承诺两小时上门取件的。为啥京东维修寄京东物流自家的快递,反而这么慢?我想应该是缺乏竞争的结果。京东维修,返厂和送给客户,都走京东自家的物流。这是规定的。京东物流白白的就获得了客户和收入。并且毫无竞争。这导致,京东物流对此毫不在意,服务品质极差。既存在没有运单,缺乏过程监督的情况,也存在获得订单后,迟迟不取货,耽误用户使用的问题。

京东应该引入其它快递进入这个市场,多家竞争这个快递服务,这样既能缩短物流周期,还能够降低成本。总之,不应该让京东物流躺着整天睡大觉不干正事。

谈谈我这近20年的翻墙历史

不知道是不是巧合,中国互联网由开发走向封闭,竟然和国家主席更替的时间遥相呼应。江的时候是开放的互联网。胡的时候开始有墙,但是墙比较矮,普通的vpn就能翻墙。习的时候,墙变高了,好多vpn方案根本不可用,必须得用最新的方案。

2000年初那时的互联网真是好啊。那时候不仅谷歌、推特、脸书都可以直接上,而且,我注册了脸书的账户之后,觉得没啥意思,都很少使用。好多互联网账号,目前还在用的,都是那时候注册的。

这些网站就慢慢都不能用了。不过,谷歌最初是通过遵从国内的法律,还能用一段时间,后来,就必须通过香港中转了,再后来中转也不可用了。

当时我还在贸易公司做外贸,为了使用Gmail,被迫学会了翻墙。当时翻墙很容易,使用系统自带的PPTP或者L2TP就能翻墙。直接搜索就能找到提供翻墙服务的网站,按年交钱就行。

再后来,提供翻墙服务的网站,必须得注册。但实际上,你去注册也不会给你批。为什么呢?因为电信运营商开始提供无墙的专线了。但是价格太贵,而且也不是到处都有,有的地方仅仅提供给经济开发区的外贸企业才能使用。

因为提供翻墙服务的网站,没有资质,就不再合法,并且公安开始抓人。好多网站都被废弃,或者转入地下了。想要注册这类网站,都需要口耳相传。并且,由于墙变智能了,PPTP、L2TP或者OpenVPN这类比较简单的VPN,都会被实时识别,直接被封。要想继续翻墙,得使用更高级的VPN应用,比如Cisco AnyConnect。

Cisco AnyConnect我也用了有几年。当时订阅的一家比较小的vpn的服务。半年一交钱,一年大概不到500。之所以便宜,是因为我注册的早,而且一直都在缴费。实际上它每年都涨价。后来,我推荐给别人这个网站的时候,它一年的收费,已经接近900。这家提供商还是挺有实力的,后期还推出了Windows和Mac平台的自有客户端。

后来,我开始自己编程,做软件开发。并且也有了自己的网站。觉得自己也可以建服务器了。就停止订阅翻墙服务了。自己建服务器,最初是在Vultr,后来在阿里云,后来又回到了Vultr。因为阿里云的轻量服务器,如果发现了你用来翻墙,就会给你安排莫名其妙的问题,导致无法登录后台。

自建服务器,最初用的是ShadowSocks,后来墙又智能了,SS不再安全,就换成了Trojan,一直用到现在。