CSV.new する時にGzipReaderを渡すとCSV::Parser::InvalidEncodingが出る場合がある

[namayaki]

バージョン

ruby 2.6.5

現象

以下のようにCSV.newする時にGZipReaderを渡すとCSV::Parser::InvalidEncodingが出てエラーになります。

code

gz = Zlib::GzipReader.new(File.open("file/to/path"))
CSV.new(gz).each_with_index do { } 

error

.rbenv/versions/2.6.5/lib/ruby/2.6.0/csv/parser.rb:314:in `rescue in parse': Invalid byte sequence in UTF-8 in line 78512. (CSV::MalformedCSVError)

考えられる要因

csv/parser.rb の202行目でinput.getsする時にchunksizeを指定していますが、この値によって、chunkが変なところで切られているように見えます。
それによって、utf8のバリデーションが失敗し、上記エラーが出ているように見えます。

ruby 2.5系では発生しません。

[kou]

この問題が再現するCSVファイルも提供してもらえませんか？

[namayaki]

すいません、秘匿情報などが含まれるのでそのままお渡しできないです・・・。
再現箇所だけいい感じに加工できればお渡しできるので、ちょっとこちらの方で試してみます。

[namayaki]

@kou
やはりCSVの共有は難しそうです。
情報不足かもですが、csv/parse.rbの202行目でchunkを取得する時に、
以下のようにエラーになるchunkを出力させてみました。

        chunk = input.gets(nil, @chunk_size)
          if chunk
            p(chunk) unless chunk.valid_encoding?
            raise InvalidEncoding unless chunk.valid_encoding?

その時の文字列の末尾が \"\"主担\xE5 になっています。（本来であれば \"\"主担店 になっていて欲しい）
utf8の1バイト目だけがchunkに入っているような感じに見えます。。

[dim]

I have the same issue, I have been able to create a fixture to recreate it, please see attached.
x.csv.gz

$ ruby -v
ruby 3.0.1p64 (2021-04-05 revision 0fb782ee38) [x86_64-linux]

require 'csv'
require 'zlib'

system "gzip -d -k -f x.csv.gz"

# OK
CSV.open("x.csv").count

# Fails with csv/parser.rb:237:in `read_chunk': CSV::Parser::InvalidEncoding (CSV::Parser::InvalidEncoding)
Zlib::GzipReader.open("x.csv.gz") do |rio|
  CSV.new(rio).count
end

[kou]

Thanks!

I think that this is a bug of zlib: ruby/zlib#32

[kou]

I close this because this is a bug of zlib.