【问题】

What’s the most efficient way to parse a large text file?

I’m trying to optimize some code. I have to open a large text file, match each line against a regular expression, and then process the results.

I’ve tried the simple approaches:

  
    for line in my_file:  
        match = my_regx.match(line)  
        process( match.groups() )  
  
and  
  
    data = my_file.read().splitlines()  
    for line in data:  
        # etc.  

Neither is terribly speedy. Does anyone have a better method?

【回答】

多线程并行计算可以提高匹配的速度，但 python 的多线程代码比较复杂，而且涉及按字节数对文件分段的问题，处理起来并不轻松。使用 SPL 就简单多了，可将文件 file1.txt 分为多段，每线程计算一段，并用正则表达式匹配出符合条件的行数据，最后合并结果并输出到文件。具体代码如下：

正则表达式功能强大，但性能不高，如果匹配规则不复杂时，还可以采用性能更高的 like 函数，比如:

集算器还支持丰富的计算函数，比如分组汇总、排名排序、关联计算、多文件查询、归并查找，易于实现各种复杂的算法逻辑。