我有一个大文件(对于内存来说太大了),我需要用分隔符 \'|\' 解析每个记录。问题是,每个记录的大小都不同,这就是为什么我总是收到错误 \'但是...
我有一个大文件(对于内存来说太大了),我需要用分隔符“|”解析每个记录。问题是,每个记录的大小都不同,这就是为什么我总是收到错误“bufio.Scanner:token 太长”。
如果我遇到 bufio.Scanner:token too long 错误,是否有任何方法可以用更大的缓冲区大小重试扫描?或者 bufio.Scanner 对我来说不是正确的选择,因为我不知道每个记录的确切大小?
谢谢
https://go.dev/play/p/Erx15nXXCGk
package main
import (
"bufio"
"bytes"
"fmt"
"strings"
)
func main() {
// Example byte array
byteArray := []byte("data1|data2|data3|data4|data5|data6|data7|data8|data9|data10")
// Buffer size for reading chunks
bufferSize := 6
buf := make([]byte, bufferSize)
// Create a bufio.Scanner with a custom split function
scanner := bufio.NewScanner(bytes.NewReader(byteArray))
scanner.Buffer(buf, bufferSize)
scanner.Split(splitFunc)
// Read the byte array in chunks
for scanner.Scan() {
// Process each token (chunk)
chunk := scanner.Text()
fmt.Println("Chunk:", chunk, "Chunk Length:", len(chunk))
}
if err := scanner.Err(); err != nil {
if err == bufio.ErrTooLong {
fmt.Println("Error:", err)
fmt.Printf("Buffer size %d is too small...\n", bufferSize)
} else {
fmt.Println("Error:", err)
}
}
}
func splitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
// Return nothing if at end of file and no data passed
if atEOF && len(data) == 0 {
return 0, nil, nil
}
if i := strings.Index(string(data), "|"); i >= 0 {
return i + 1, data[0:i], nil
}
// If at end of file with data return the data
if atEOF {
return len(data), data, nil
}
return
}
我认为,他们应该将其设计 Accessing non-final property <property> in constructor
为编译错误,而不仅仅是警告,因为它会产生一些奇怪的行为,而这些行为甚至不一定在文档中定义。例如, !!
通过这样做,您可以轻松创建 NullPointerException,而无需使用或任何 Java 互操作代码。
“非最终”与“开放”含义相同。您正在从构造函数调用开放属性或函数,这可能会引发大问题,因此绝不应该这样做。
分配属性初始值的代码被视为构造函数的一部分,因此您的代码 = a + b + c
是构造函数的一部分,并且是触发警告的原因。
以下是获取空值的过程。Derived 类构造函数将这三个值传递给超类构造函数。超类将这些值分配给超类的 a
, b
、 和 c
属性的支持字段。然后 concatenation
调用 a
, b
、 和 c
属性来获取它们的值,但由于我们实际上是 Derived 的一个实例,这些属性已被覆盖,并且指向与作为超类的一部分初始化的支持字段不同的支持字段。
此外,由于我们仍在执行超类构造函数,派生类的支持字段尚未初始化,因此它们仍然持有空值。