TAT.iAzrael JS 计算字符串所占字节数
In 未分类 on 2013年12月31日 by view: 29,429
7

废话不说,直接正题吧。

最近项目有个需求要用 js 计算一串字符串写入到 localStorage 里所占的内存,众所周知的,js 是使用 Unicode 编码的。而 Unicode 的实现有 N 种,其中用的最多的就是 UTF-8 和 UTF-16。因此本文只对这两种编码进行讨论。

下面这个定义摘自维基百科(http://zh.wikipedia.org/zh-cn/UTF-8),做了部分删减。

UTF-8(8-bit Unicode Transformation Format)是一种针对 Unicode 的可变长度字符编码,可以表示 Unicode 标准中的任何字符,且其编码中的第一个字节仍与 ASCII 相容,使用一至四个字节为每个字符编码

其编码规则如下:

  1. 字符代码在 000000 - 00007F 之间的,用一个字节编码;
  2. 000080 - 0007FF 之间的字符用两个字节;
  3. 000800 - 00D7FF 和 00E000 - 00FFFF 之间的用三个字节,注: Unicode 在范围 D800-DFFF 中不存在任何字符;
  4. 010000 - 10FFFF 之间的用 4 个字节。

UTF-16 则是定长的字符编码,大部分字符使用两个字节编码,字符代码超出 65535 的使用四个字节,如下:

  1. 000000 - 00FFFF 两个字节;
  2. 010000 - 10FFFF 四个字节。

一开始认为既然页面用的是 UTF-8 编码,那么存入 localStorage 的字符串,应该也是用 UTF-8 编码的。但后来测试发现,明明计算出的 size 是不到 5MB,存入 localStorage 却抛异常了。想了想,页面的编码是可以改的。如果 localStorage 按照页面的编码存字符串,不就乱套了?浏览器应该都是使用 UTF-16 编码的。用 UTF-16 编码计算出 5MB 的字符串,果然顺利写进去了。超过则失败了。

好了,附上代码实现。计算规则就是上面写的,为了计算速度,把两个 for 循环分开写了。

原创文章转载请注明:

转载自AlloyTeam:http://www.alloyteam.com/2013/12/js-calculate-the-number-of-bytes-occupied-by-a-string/

  1. fental 2017 年 12 月 18 日

    charCodeAt() 方法返回 0 到 65535 之间的整数…
    高位编码单元(higher code point)使用一对(低位编码(lower valued))代理伪字符(”surrogate” pseudo-characters)来表示,从而构成一个真正的字符。

    sizeof(‘👌’) === 6; // wrong
    sizeof(‘👌’) === 4; // true

  2. jackie Lin 2016 年 3 月 18 日

    经过我的测试,现在已经不是这样了,sizeof 是 等于 str.length,Mac chrome 49

  3. ct_yu 2016 年 2 月 2 日

    循环 length 有问题吧,utf16 的 4 字节字符 length 是 2

  4. wheato 2014 年 1 月 9 日

    直接 (new Buffer(str)).length 可以吧

    • TAT.iAzrael

      TAT.iAzrael 2014 年 1 月 9 日

      Buffer 目前还不是标准呀, chrome 都没有 buffer 类, new Bolb 可以拿到 utf8 下统计的长度, 但是 localStorage 用的时 utf-16 来存储的

  5. xueduanyang 2014 年 1 月 8 日

    试试 JSON.stringify(localStorage).length

    • TAT.iAzrael

      TAT.iAzrael 2014 年 1 月 8 日

      这个算的是字符串的个数而不是所占字节数吧

发表评论到 jackie Lin