如何用usocket读取utf-8字符串

Question

当我使用下面的代码从usocket流中读取时：

(let ((stream (socket-stream sk)) line)
  (loop for line = (read-line stream)
     while line do (format t line)))

当读行遇到非ascii字符时，它会抛出一个异常：

decoding error on stream
#<SB-SYS:FD-STREAM
  for "socket 118.229.141.195:52946, peer: 119.75.217.109..."
  {BCA02F1}>
(:EXTERNAL-FORMAT :UTF-8):
  the octet sequence (176) cannot be decoded.
   [Condition of type SB-INT:STREAM-DECODING-ERROR]

读行和读字节都不起作用，所以我试着用读- utf-8 -字符串来读取utf-8字符串，但是它只接受二进制流，似乎套接字流不会创建二进制流，所以我搞不懂如何从具有非ascii字符的套接字流中读取？

Answer 1

您可以先使用read-sequence (如果您提前知道长度)或read-bytes (如果有)，然后将它们转换为使用(babel:octets-to-string octets :encoding :utf-8)) (其中octets是(make-array expected-length :element-type '(unsigned-byte 8)))字符串。

Answer 2

您所得到的错误表明，您试图读取的数据实际上不是有效的UTF-8数据。实际上，176 (= #b10110000)不是一个可以引入UTF-8字符的字节.如果要读取的数据是以其他编码方式读取的，请尝试相应地调整Lisp编译器的外部格式设置，或者使用巴贝尔或柔性流对数据进行解码。

Answer 3

一旦我需要它，我就懒得去找一个库来做它，所以我自己做了:)这可能不是最好的方法，但我只需要一些快速而不复杂的东西，就这样做了：

(defun read-utf8-char (stream)
  (loop for i from 7 downto 0
     with first-byte = (read-byte stream nil 0)
     do (when (= first-byte 0) (return +null+))
     do (when (or (not (logbitp i first-byte)) (= i 0))
          (setf first-byte (logand first-byte (- (ash 1 i) 1)))
              (return
            (code-char 
             (dotimes (a (- 6 i) first-byte)
               (setf first-byte
                     (+ (ash first-byte 6)
                        (logand (read-byte stream) #x3F)))))))))