我有一个大文件（对于内存来说太大了），我需要用分隔符 \'|\' 解析每个记录。问题是，每个记录的大小都不同，这就是为什么我总是收到错误 \'但是...
我有一个大文件（对于内存来说太大了），我需要用分隔符“|”解析每个记录。问题是，每个记录的大小都不同，这就是为什么我总是收到错误“bufio.Scanner：token 太长”。
如果我遇到 bufio.Scanner：token too long 错误，是否有任何方法可以用更大的缓冲区大小重试扫描？或者 bufio.Scanner 对我来说不是正确的选择，因为我不知道每个记录的确切大小？
谢谢
https://go.dev/play/p/Erx15nXXCGk
package main
import (
"bufio"
"bytes"
"fmt"
"strings"
)
func main() {
// Example byte array
byteArray := []byte("data1|data2|data3|data4|data5|data6|data7|data8|data9|data10")
// Buffer size for reading chunks
bufferSize := 6
buf := make([]byte, bufferSize)
// Create a bufio.Scanner with a custom split function
scanner := bufio.NewScanner(bytes.NewReader(byteArray))
scanner.Buffer(buf, bufferSize)
scanner.Split(splitFunc)
// Read the byte array in chunks
for scanner.Scan() {
// Process each token (chunk)
chunk := scanner.Text()
fmt.Println("Chunk:", chunk, "Chunk Length:", len(chunk))
}
if err := scanner.Err(); err != nil {
if err == bufio.ErrTooLong {
fmt.Println("Error:", err)
fmt.Printf("Buffer size %d is too small...\n", bufferSize)
} else {
fmt.Println("Error:", err)
}
}
}
func splitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {
// Return nothing if at end of file and no data passed
if atEOF && len(data) == 0 {
return 0, nil, nil
}
if i := strings.Index(string(data), "|"); i >= 0 {
return i + 1, data[0:i], nil
}
// If at end of file with data return the data
if atEOF {
return len(data), data, nil
}
return
}
我在 Python 中有一个抽象类，如下所示：class Sinker(ABC): @abstractmethod def batch_write(self, data) -> None: pass具体类需要将数据写入某些
我在 Python 中有一个像这样的抽象类
class Sinker(ABC):
@abstractmethod
def batch_write(self, data) -> None:
pass
具体类需要将数据写入某些云数据库。我这样编写抽象类的目的是确保具体类始终实现该 batch_write() 方法。
但是，我不确定应该输入什么类型的提示， data 因为我的一个具体班级正在期待 List[str] ，而另一个具体班级正在期待 List[dict] .
这些只是目前我脑海中浮现的一些选择。
Any
List[Any]
List[str|dict]
有什么更好的方法吗？ 有没有针对这种情况的风格指南？
我尝试了所有三个选项，由于它们只是类型提示，所以不会给我带来任何麻烦。但我只是想确保我编写的代码与 OOP 中相应的最佳实践保持一致（如果有的话）。