8wDlpd.png
8wDFp9.png
8wDEOx.png
8wDMfH.png
8wDKte.png

Golang bufio.Scanner:令牌太长

Satyajay Prabhakar 2月前

216 0

我有一个大文件(对于内存来说太大了),我需要用分隔符 \'|\' 解析每个记录。问题是,每个记录的大小都不同,这就是为什么我总是收到错误 \'但是...

我有一个大文件(对于内存来说太大了),我需要用分隔符“|”解析每个记录。问题是,每个记录的大小都不同,这就是为什么我总是收到错误“bufio.Scanner:token 太长”。

如果我遇到 bufio.Scanner:token too long 错误,是否有任何方法可以用更大的缓冲区大小重试扫描?或者 bufio.Scanner 对我来说不是正确的选择,因为我不知道每个记录的确切大小?

谢谢

https://go.dev/play/p/Erx15nXXCGk

package main

import (
    "bufio"
    "bytes"
    "fmt"
    "strings"
)

func main() {
    // Example byte array
    byteArray := []byte("data1|data2|data3|data4|data5|data6|data7|data8|data9|data10")

    // Buffer size for reading chunks
    bufferSize := 6
    buf := make([]byte, bufferSize)

    // Create a bufio.Scanner with a custom split function
    scanner := bufio.NewScanner(bytes.NewReader(byteArray))
    scanner.Buffer(buf, bufferSize)
    scanner.Split(splitFunc)

    // Read the byte array in chunks
    for scanner.Scan() {
        // Process each token (chunk)
        chunk := scanner.Text()
        fmt.Println("Chunk:", chunk, "Chunk Length:", len(chunk))
    }
    if err := scanner.Err(); err != nil {
        if err == bufio.ErrTooLong {
            fmt.Println("Error:", err)
            fmt.Printf("Buffer size %d is too small...\n", bufferSize)
        } else {
            fmt.Println("Error:", err)
        }
    }
}

func splitFunc(data []byte, atEOF bool) (advance int, token []byte, err error) {

    // Return nothing if at end of file and no data passed
    if atEOF && len(data) == 0 {
        return 0, nil, nil
    }

    if i := strings.Index(string(data), "|"); i >= 0 {
        return i + 1, data[0:i], nil
    }

    // If at end of file with data return the data
    if atEOF {
        return len(data), data, nil
    }

    return
}
帖子版权声明 1、本帖标题:Golang bufio.Scanner:令牌太长
    本站网址:http://xjnalaquan.com/
2、本网站的资源部分来源于网络,如有侵权,请联系站长进行删除处理。
3、会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。
4、本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
5、站长邮箱:yeweds@126.com 除非注明,本帖由Satyajay Prabhakar在本站《file》版块原创发布, 转载请注明出处!
最新回复 (0)
  • scanner.Buffer(buf, bufferSize)
    

    你不需要提供任何缓冲

    默认情况下,Scanner.Scan 使用内部缓冲区并将最大令牌大小设置为 MaxScanTokenSize。

    如果您只是将其删除,程序将正常运行 。您将受到 MaxScanTokenSize ,该值似乎是 64k。

  • 谢谢,但在实际情况下,我不知道要读取的标记的最大长度。因此,如果行大于 64k,我仍然会收到错误消息 bufio.Scanner:标记太长,并且脚本中止。

  • 如果令牌大于 64k。不是整行。这是一个相当大的令牌。如果您需要更大的令牌,您可以分配自己的缓冲区,但您必须决定其最大容量才能容纳最大的令牌。可能 64k 对您的数据来说已经足够了。

  • 我想知道为什么我的代码返回'nullnullnull'而不是预期的答案,以及为什么使用方法时它能正常工作。考虑以下代码:open class Base(...

    我想知道为什么我的代码返回的 "nullnullnull" 不是预期的答案,以及为什么使用方法时它能正常工作。

    考虑以下代码:

    open class Base(
        open val a: String,
        open val b: String,
        open val c: String,
    ) {
        val concatenation = a + b + c
    }
    
    class Derived(
        override val a: String,
        override val b: String,
        override val c: String
    ) : Base(a = a, b = b, c = c)
    
    fun main() {
        val derived = Derived(a = "foo", b = "bar", c = "baz")
        println(derived.concatenation)
    }
    

    此示例打印出 "nullnullnull" ,而不是 "foobarbaz" .

    但是如果你在超类中替换 val concatenation = a + b + c 它, fun concatenation() = a + b + c 它似乎可以很好地与该方法调用一起工作。

    此外, Accessing non-final property <property> in constructor 使用时 val concatenation = a + b + c ,但我不确定这到底意味着什么。

    初始化 Base 类和 Derived 类属性的顺序是否有什么问题?我认为可能是我 concatenation 从 Base 类中使用,但是对于继承,我也调用 Base 类构造函数,并且必须初始化具有相同字符串的相同属性。

  • 我有一个应用程序,允许将字符串拖放到其中一个组件上。这很好用。现在我希望能够为该操作添加自定义选项。我的第一个

    我有一个应用程序,允许将字符串拖放到其中一个组件上。这工作正常。

    现在我希望能够为该操作添加自定义选项。我的第一个尝试是在接受放置操作后构造并显示 JPopupMenu。这似乎不起作用,因为弹出菜单没有显示,就像 show 方法被忽略了一样。

    有没有什么办法可以解决此问题,或者我必须使用更重的东西,例如 JOptionPane?

    这是我的示例代码:

    import javax.swing.*;
    import java.awt.*;
    import java.awt.datatransfer.DataFlavor;
    import java.awt.dnd.DropTarget;
    import java.awt.dnd.DropTargetAdapter;
    import java.awt.dnd.DropTargetDropEvent;
    
    import static java.awt.dnd.DnDConstants.ACTION_COPY;
    
    public class DNDTest {
    
        DNDTest() {
            JFrame f = new JFrame("Test dnd");
            Container c = f.getContentPane();
            final JPanel jp = new JPanel(new BorderLayout());
            jp.setBackground(Color.RED);
            jp.setToolTipText("Drop a string here");
            jp.setPreferredSize(new Dimension(200,200));
            c.add(jp);
    
            DropTarget dt = new DropTarget(jp, ACTION_COPY, new DropTargetAdapter() {
                @Override
                public void drop(DropTargetDropEvent dtde) {
                    if (dtde.isDataFlavorSupported(DataFlavor.stringFlavor)) {
                        try {
                            dtde.acceptDrop(ACTION_COPY);
                            String trns = (String) dtde.getTransferable().getTransferData(DataFlavor.stringFlavor);
                            System.err.println("Dropped string "+trns);
                            Point loc = dtde.getLocation();
    
                            // Show a popup after the drop operation
                            JPopupMenu jpm2 = new JPopupMenu("Popup menu");
                            JMenuItem jmi2 = new JMenuItem("Popup option 1");
                            jpm2.add(jmi2);
                            System.err.println("About to show popup after drop at "+loc.getX()+","+loc.getY());
                            jpm2.show(jp, (int)loc.getX(), (int)loc.getY());
                        } catch (Exception ex) {
                            ex.printStackTrace();
                        }
                        return;
                    }
                    dtde.rejectDrop();
                }
            }, true);
    
            f.pack();
            f.setVisible(true);
        }
    
        public static void main(String[] args) {
            SwingUtilities.invokeLater(DNDTest::new);
        }
    }
    
  • yivi 2月前 0 只看Ta
    引用 7

    @Alexander 虽然两者的直接原因是基类调用了派生类重写的东西,但在我看来,在这个问题上并不那么明显。

  • 看起来,当前鼠标事件(\'drop event\')导致菜单直接消失。您只需要在 \'invokeLater\' 方法中显示菜单即可。

    import static java.awt.dnd.DnDConstants.ACTION_COPY;
    
    import java.awt.BorderLayout;
    import java.awt.Color;
    import java.awt.Container;
    import java.awt.Dimension;
    import java.awt.Point;
    import java.awt.datatransfer.DataFlavor;
    import java.awt.dnd.DropTarget;
    import java.awt.dnd.DropTargetAdapter;
    import java.awt.dnd.DropTargetDropEvent;
    
    import javax.swing.JFrame;
    import javax.swing.JMenuItem;
    import javax.swing.JPanel;
    import javax.swing.JPopupMenu;
    import javax.swing.SwingUtilities;
    
    public class DNDTest {
    
        DNDTest() {
            JFrame f = new JFrame("Test dnd");
            Container c = f.getContentPane();
            final JPanel jp = new JPanel(new BorderLayout());
            jp.setBackground(Color.RED);
            jp.setToolTipText("Drop a string here");
            jp.setPreferredSize(new Dimension(200, 200));
            c.add(jp);
    
            DropTarget dt = new DropTarget(jp, ACTION_COPY, new DropTargetAdapter() {
                @Override
                public void drop(DropTargetDropEvent dtde) {
                    if (dtde.isDataFlavorSupported(DataFlavor.stringFlavor)) {
                        try {
                            dtde.acceptDrop(ACTION_COPY);
                            String trns = (String) dtde.getTransferable().getTransferData(DataFlavor.stringFlavor);
                            System.err.println("Dropped string " + trns);
                            Point loc = dtde.getLocation();
    
                            // Show a popup after the drop operation
                            JPopupMenu jpm2 = new JPopupMenu();
                            JMenuItem jmi2 = new JMenuItem("Popup option 1");
                            jpm2.add(jmi2);
                            System.err.println("About to show popup after drop at " + loc.getX() + "," + loc.getY());
                            SwingUtilities.invokeLater(() -> jpm2.show(jp, (int) loc.getX(), (int) loc.getY()));
                        } catch (Exception ex) {
                            ex.printStackTrace();
                        }
                        return;
                    }
                    dtde.rejectDrop();
                }
            }, true);
    
            f.pack();
            f.setVisible(true);
        }
    
        public static void main(String[] args) {
            SwingUtilities.invokeLater(DNDTest::new);
        }
    }
    
  • @Alexander 我看到的最大区别是,我的代码不会抛出 NPE(即使所有属性都不可为空),而且我也不会覆盖

  • 如果 为字符串添加拖动源, 您的代码似乎工作正常

    // ....
    final JPanel jp = new JPanel(new BorderLayout());
    JTextField jtf = new JTextField("Drag me");
    jtf.setDragEnabled(true);
    jp.add(jtf, BorderLayout.PAGE_START);
    jp.setBackground(Color.RED);
    jp.setToolTipText("Drop a string here");
    // ....
    
  • 不是这样的。拖动源不必位于同一个应用程序内。它可以来自完全不同的应用程序(例如将文本从文本编辑器中拖出)。

  • Brom 2月前 0 只看Ta
    引用 12

    我认为,他们应该将其设计 Accessing non-final property <property> in constructor 为编译错误,而不仅仅是警告,因为它会产生一些奇怪的行为,而这些行为甚至不一定在文档中定义。例如, !! 通过这样做,您可以轻松创建 NullPointerException,而无需使用或任何 Java 互操作代码。

    “非最终”与“开放”含义相同。您正在从构造函数调用开放属性或函数,这可能会引发大问题,因此绝不应该这样做。

    分配属性初始值的代码被视为构造函数的一部分,因此您的代码 = a + b + c 是构造函数的一部分,并且是触发警告的原因。

    以下是获取空值的过程。Derived 类构造函数将这三个值传递给超类构造函数。超类将这些值分配给超类的 a , b 、 和 c 属性的支持字段。然后 concatenation 调用 a , b 、 和 c 属性来获取它们的值,但由于我们实际上是 Derived 的一个实例,这些属性已被覆盖,并且指向与作为超类的一部分初始化的支持字段不同的支持字段。

    此外,由于我们仍在执行超类构造函数,派生类的支持字段尚未初始化,因此它们仍然持有空值。

  • 有趣。谢谢你的回答,我没有想到在初始化之前属性会为空,我以为 Kotlin 可以完美解决 Java 固有可空性的各个方面。

  • 既然您已经覆盖了 a、b、c;您的基类为什么应该知道被覆盖字段的值?

    我假设您想参数化 a、b、c,而不是覆盖它们。

    open class Base(
        val a: String,
        val b: String,
        val c: String,
    ) {
        val concatenation = a + b + c
    }
    
    class Derived(
        a: String,
        b: String,
        c: String
    ) : Base(a = a, b = b, c = c)
    
    fun main() {
        val derived = Derived(a = "foo", b = "bar", c = "baz")
        println(derived.concatenation)
    }
    
  • 我正在 MATLAB 中开发一个项目,该项目本质上是一个具有大量参数的物理问题的线性系统求解器,这是我第一次尝试 OOP。之前,我有很多 MATLAB 脚本...

    我正在 MATLAB 中做一个项目,它本质上是一个具有大量参数的物理问题的线性系统求解器,这是我第一次尝试 OOP。之前,我有很多 MATLAB 脚本,其中包含大量非常相似的代码,所以我认为这将是一个学习 OOP 的好例子。

    我有一个类,其属性包含物理问题中可能存在的所有参数(但不一定需要所有参数),以及我想用来解决该问题的线性系统的大小。我有两个依赖属性,分别表示矩阵 A 和右侧向量 B。求解 Ax = B 是该应用程序的重点。

    我现在正尝试编写一个 get 方法来确定 B。我的问题是,这不遵循可以用类属性来一般表达的公式。(可以,但对于每个问题,方法不同。我的意思是,对于一个问题,可以有像 B(n) = obj.parameter1*obj.parameter2 这样的依赖关系,而对于另一个问题,可以有 B(n) = 3*obj.paramter(1)*obj.parameter2)

    我想知道上述内容是否意味着必须在类之外定义 B?如果是这样,我该如何避免陷入之前的情况,即有大量类似的脚本定义 B?

    在各个问题中始终一致的一点是,B 的代数定义如下:

    nj = -10:10 % array of integers from -10 to 10
    for m=1:length(nj)
        if nj(m) == 0
            B(m) = % (function)
        else
            B(m) = % (another function, dependent on m)
        end
    end
    

    我希望这是有道理的。谢谢你帮助这位无知的数学家。

  • 为什么不添加另一个属性来指定 B 的形式?然后在 B getter 中,您可以首先检查 B 的预期形式,然后计算它。

  • 引用 17

    @Zep 这个想法不错,我想试试。抱歉,您能否进一步解释一下检查预期形式是什么意思?您的意思是我可以定义一个属性“form”,指定形式“a”、“b”、“c”等,以及一个以“form”为参数的 get 方法,该方法以“if/else”或“switch case”为基础运行?

  • 请不要尝试使用 MATLAB 学习 OOP。MATLAB 的类与任何 OOP 语言的工作方式都大不相同。是的,你可以在 MATLAB 中使用类,它们非常有用。但你的技能无法很好地转化为其他语言。此外,通常你并不需要使用类(在我看来,OOP 被夸大了)。如果你的脚本中有重复的代码,请创建函数。这就是函数的用途。

  • 这就是我在评论中提出的建议:

    classdef MySolver
        properties 
            parameter
            Bform double {mustBeMember(Bform,[1,2])} = 1
            B
        end
    
        methods
            function B = get.B(obj)
                % Calculates B according to the specific form
                switch obj.Bform
                    case 1
                        B = obj.parameter(1)*obj.parameter(2);
                    case 2
                        B = 3*obj.parameter(1)*obj.parameter(2);
                end
            end
        end
    end
    

    当然,您可以在属性的文档字符串中包含 B 的不同形式的描述、对“参数”的检查等。

    以下是一个使用示例:

    obj = MySolver();
    obj.parameter = randn(1,2);
    obj.Bform = 2;
    disp(obj.B)
    
  • 我在 Python 中有一个抽象类,如下所示:class Sinker(ABC): @abstractmethod def batch_write(self, data) -> None: pass具体类需要将数据写入某些

    我在 Python 中有一个像这样的抽象类

    class Sinker(ABC):
        @abstractmethod
        def batch_write(self, data) -> None:
            pass
    

    具体类需要将数据写入某些云数据库。我这样编写抽象类的目的是确保具体类始终实现该 batch_write() 方法。

    但是,我不确定应该输入什么类型的提示, data 因为我的一个具体班级正在期待 List[str] ,而另一个具体班级正在期待 List[dict] .

    这些只是目前我脑海中浮现的一些选择。

    1. Any
    2. List[Any]
    3. List[str|dict]

    有什么更好的方法吗? 有没有针对这种情况的风格指南?

    我尝试了所有三个选项,由于它们只是类型提示,所以不会给我带来任何麻烦。但我只是想确保我编写的代码与 OOP 中相应的最佳实践保持一致(如果有的话)。

返回
作者最近主题: