港大败航等1bit大模子引热议，IEEE刊物评“处置AI动力需求”！作家亲身解读在此
2024-06-10极限量化，把每个参数占用空间压缩到1.1bit！ IEEE Spectrum专栏，一种名为BiLLM的训诲后量化（PTQ）模范火了。 平淡来讲，跟着LLM参数范畴越来越大，模子计较的内存和资源也濒临着更大的挑战。怎么把模子变得工整经济实惠，能塞进手机等成立中？ BiLLM处置的恰是这么的一个问题。它使用1bit来类似网罗中的大多数参数，使用2bit来清晰一些对性能最有影响的权重。 执行测试中，连络东谈主员对OPT模子、Llama系列进行了二值化。 在OPT模子家眷上，BiLLM以1.1bit的