Clozure CL中文版007:字符和外部格式

  • 0

Clozure CL中文版007:字符和外部格式

Category:帮助手册 Tags : 

字符和外部格式

Clozure CL中的所有字符和字符串都使用UTF-32完全支持Unicode。Clozure CL中只有一种character类型和一种 string类型。有关此决定的讨论很多,可以通过http://clozure.com/pipermail/openmcl-devel/搜索openmcl-devel档案找到。我只想说,我们认为仅支持UTF-32的简单性和速度优势超过了空间劣势。

人物

characterClozure CL中有一种类型。所有character的都是base-chars。 char-code-limit现在#x110000,这意味着可以直接表示所有Unicode字符。从Unicode 5.0开始,char-code实际上只定义了大约100,000个1,114,112个可能的s。该函数code-char知道某些范围的代码值(特别是#xd800- #xddff)将永远不会是有效的字符代码,并将返回nil该范围内的参数,但可能返回非nilcharacter其他未分配的代码值 值(未定义/非标准对象)。

Clozure CL支持表单的字符名称u+xxxx- 其中 x是一个或多个十六进制数字的序列。十六进制数字的值表示字符的代码。该+ 字符是可选的,因此#\u+0020,#\U0020并且 #\U+20所有#\Space字符都指向该字符。

代码范围内的字符#xa0- #x7ff也具有符号名称这些是Unicode标准中的名称,其中空格由下划线替换。所以#\Greek_Capital_Letter_Epsilon可以用来指其性质char-code是#x395。要查看支持的字符名称的完整列表,请查看ccl::register-character-namein 的定义ccl:level-1;l1-reader.lisp。

外部格式

标准的功能open,load以及 compile-file所有接受:external-format关键字参数。值的值:external-format可以是 :default(默认值),行终止关键字(参见行终止关键字),字符编码关键字(参见字符编码),使用创建的外部格式对象make-external-format,或带键的plist :domain,:character-encoding和:line-termination。如果 参数是plist,则将使用结果。(apply #’make-external-format argument)

如果:default指定,则使用值*default-external-format*。如果未指定行终止,则使用值*default-line-termination* ,默认为:unix。如果未指定字符编码,则将*default-file-character-encoding*其用于文件流并*default-socket-character-encoding*用于套接字流。默认的默认字符编码是nil其中的同义词:iso-8859-1。

请注意,用于表示的关键字集合 character-encoding s的关键字集和用于表示行终止约定的关键字集是不相交的:关键字最多表示字符编码或行终止约定,但绝不是两者。

EXTERNAL-FORMATs是具有两个只读字段的对象(结构),可以通过函数访问:external-format-line-termination和external-format-character-encoding。

ccl:*default-external-format*[变量]

:external-format未指定或指定时使用此变量的值:default。可以有意义地给出任何可以用作外部格式的值(值除外:default)。

Clozure CL中此变量的初始值,:unix等同于 (:line-termination :unix)其中。

ccl:*default-line-termination*[变量]

当外部格式未指定行终止约定(或将其指定为:default。)时,将使用此变量的值。可以有意义地给出可用作行终止关键字的任何值(请参阅行终止关键字)。

Clozure CL中此变量的初始值为:unix。

make-external-format &key 字符编码 行终止[功能]

创建新的外部格式对象,或返回具有相同指定插槽值的现有格式对象。

这用于指示外部格式的使用位置。它的价值几乎可以是任何东西。它默认为NIL。在Clozure CL中有两个具有预定义含义的域::file表示文件系统中文件的编码,并:socket指示与套接字的i / o。的值会影响字符编码行终止的默认值。

字符编码

一个关键字,指定外部格式的字符编码。字符编码。默认为:default这意味着如果是:file使用变量的值 *default-file-character-encoding*,并且如果 是:socket,使用该变量的值*default-socket-character-encoding*。这两个变量的初始值是NIL,这意味着:iso-8859-1编码。

行终止

一个关键字,表示行终止关键字 行终止关键字。默认值 :default表示使用变量的值*default-line-termination*

外部格式

如上所述的外部格式对象。

尽管函数的名称不同,但它不一定会创建一个新的唯一external-format对象:make-external-format在同一动态环境中使用相同参数进行的两次调用将 返回相同的(eq)对象。

线路终端关键词

行终止关键字指示哪些字符用于指示行的结尾。在输入时,外部线路终端字符由#\Newline输出和输出替换,#\Newlines被转换为外部线路终端字符。

线路终端关键词
关键词 字符(S)
:unix #\Linefeed
:macos #\Return
:cr #\Return
:crlf #\Return #\Linefeed
:cp/m #\Return #\Linefeed
:msdos #\Return #\Linefeed
:dos #\Return #\Linefeed
:windows #\Return #\Linefeed
:inferred 见下文
:unicode #\Line_Separator

:inferred表示通过查看文件的内容来确定流的行终止约定。它只适用于file-stream开放的 :input或:io。检查第一个充满数据的缓冲区,如果一个#\Return字符出现在任何#\Linefeed字符之前 ,则行终止类型设置为:windows如果该#\Return字符后面紧跟一个#\Linefeed字符,:macos 否则。如果#\Return在缓冲区中找不到字符或者#\Return前面有字符#\Linefeed,则将文件的行终止类型设置为:unix。

字符编码

在内部,Clozure CL中的所有字符和字符串都是UTF-32。在外部,文件或套接字流可以以各种方式编码字符。国际标准化组织(ISO)广泛称为ISO,它定义了许多这些字符编码。Clozure CL实现了一些这些编码,如下所述。这些编码是外部格式规范的一部分(参见外部格式)。从流中读取时,字符将从指定的外部字符编码转换为UTF-32。写入流时,字符将从UTF-32转换为指定的字符编码。

在内部,character-encodings为是由字符编码的关键字(已命名的对象(结构):iso-8859-1,:utf-8等等)。结构包含用于编码/解码外部数据的编码和函数的属性,但除非您尝试定义或调试编码,否则几乎没有理由知道character-encoding对象,通常最好引用字符编码以它的名字命名。

可以通过调用检索Clozure CL支持的字符编码集describe-character-encodings

describe-character-encodings[功能]

将所有已定义字符编码的描述写入*terminal-io*。这些描述包括编码别名的名称和文档字符串,它简要描述了每个编码的属性和预期用途。

编码问题

如果无法根据指定的外部格式对字符进行编码或解码,则将使用特定于编码的替换字符替换相关字符。#\Replacement_Character如果目标外部格式包含这样的字符,则这将是 ; 否则替换字符将是#\Sub。

替换字符的存在通常表示在翻译中丢失了某些内容:数据未正确编码或解码过程中存在错误。

字节顺序标记

字符编码的字节顺序有时是显式的,有时则不然。例如,:utf-16be表示big-endian,但是 :utf-16不指定endianness。字节顺序标记是一个特殊字符,可以出现在编码字符流的开头,以指定多字节字符编码的字节顺序。(它也可以与UTF-8字符编码一起使用,它仅用于表示编码是UTF-8。)

当字符编码的字节顺序不明确时,Clozure CL将字节顺序标记写为文件或套接字流的第一个字符。Clozure CL还期望来自流的输入上的字节顺序标记,其中字节顺序不明确。如果输入数据中缺少字节顺序标记,则假定该数据为大端顺序。

来自UTF-8编码输入流的字节顺序标记未经过特殊处理,只是从输入流中显示为普通字符。跳过这个角色可能是一个好主意。

选定的字符编码

这里描述了一些常用的编码。如需完整列表,请致电describe-character-encodings。大多数编码有别名,如命名的编码 :iso-8859-1,也可以通过名称提及:latin1和:ibm819,等等。在可能的情况下,编码的关键字化名称等同于首选MIME字符集名称(并且别名都是已注册的IANA字符集名称。)

:utf-8

一种8位可变长度字符编码,其中#x00-#x7f范围内CHAR-CODE的字符可以在一个八位字节中编码; 具有较大代码值的字符可以编码为2到4个字节。

Clozure CL *terminal-io*对所有未明确指定EXTERNAL-FORMAT的流使用此编码。*terminal-io*可以通过-K命令行参数设置 默认值 (请参阅命令行选项)。

:iso-8859-1

一种8位固定宽度的字符编码,其中所有字符代码都映射到它们的Unicode等价物。旨在支持大多数西欧语言中使用的大多数字符。

ISO-8859-1仅涵盖前256个Unicode代码点,其中前128个代码点等同于US-ASCII。这应该与Clozure CL的早期版本仅支持8位字符相当,但对于在特定区域设置中工作的用户来说可能不是最佳选择。

别名: :iso_8859-1, :latin1, :l1, :ibm819, :cp819, :csisolatin1

:us-ascii

一种7位固定宽度字符编码,其中所有字符代码都映射到它们的Unicode等价物。

别名: :csascii, :cp637, :ibm637, :us, :iso646-us, :ascii, :iso-ir-6

:utf-16

一种16位可变长度编码,其中CHAR-CODEs小于#x10000的字符可以在一个16位字中编码,而具有较大代码的字符可以用一对16位字编码。编码数据的字节顺序由数据前面的字节顺序标记字符(#u + feff)的字节顺序表示; 如果输入中没有这样的字符,则假定数据处于大端顺序。输出以本机字节顺序写入,带有前导字节顺序标记。

编码和解码字符串

Clozure CL提供了对字符串进行编码和解码的函数(简单数组(无符号字节8))。

count-characters-in-octet-vector vector &key start end external-format[功能]

返回根据外部格式解码向量(或由开始结束分隔的子序列)生成的字符数。

decode-string-from-octets vector &key start end external-format string[功能]

根据外部格式将向量中的八位字节(或由开始结束分隔的子序列)解码为字符串。

如果提供了string,则输出将被写入其中。它必须足够大以容纳解码的字符。如果字符串没有提供,一个新的字符串将被分配到保存解码的字符。

作为多个值返回解码的字符串和解码结束的向量中的位置。

矢量中不能根据外部格式解码成字符 的八位字节序列将被解码为 #\Replacement_Character。

encode-string-to-octets string &key start end external-format use-byte-order-mark vector vector-offset[功能]

根据 外部格式字符串(或由开始结束分隔的子字符串) 编码到向量中。它作为多个值返回包含编码数据的八位字节矢量和一个整数,该整数指定编码数据结束的矢量的偏移量。

use-byte-order-mark为true时,字节顺序标记将包含在编码数据中。

如果提供了矢量,则输出将被写入。它必须是类型(simple-array (unsigned-byte 8)) 并且足够大以容纳编码数据。如果未提供,该函数将分配一个新向量来保存输出。

如果提供向量偏移,则数据将从该偏移量开始写入输出向量。

在字符不能被编码成 外部格式将与依赖性编码替换字符(或者被替换#\Replacement_Character或者#\Sub)被编码并写入到输出向量之前。

string-size-in-octets string &key start end external-format use-byte-order-mark[功能]

返回根据编码字符串(或由:startand 分隔的子字符串:end)所需的八位字节数:external-format。

use-byte-order-mark为true时,返回的大小将包括字节顺序标记所需的空间。

http://mip.i3geek.com

Leave a Reply

搜索

分类目录

公 告

本网站学习论坛:

www.zhlisp.com

lisp中文学习源码:

https://github.com/zhlisp/

欢迎大家来到本站,请积极评论发言;

加QQ群学习交流。