Fix eleventh perfomance issues

Author: dmakhmutov

Gemfile

@@ -11,3 +11,4 @@ gem 'stackprof'
 gem 'fasterer'
 gem 'rubocop-performance'
 gem 'memory_profiler'
+gem 'oj'

Gemfile.lock

@@ -15,6 +15,7 @@ GEM
     jaro_winkler (1.5.3)
     memory_profiler (0.9.14)
     method_source (0.9.2)
+    oj (3.8.1)
     parallel (1.17.0)
     parser (2.6.3.0)
       ast (~> 2.4.0)
@@ -66,6 +67,7 @@ PLATFORMS
 DEPENDENCIES
   fasterer
   memory_profiler
+  oj
   pry-byebug
   rspec
   rspec-benchmark

case-study.md

@@ -74,12 +74,14 @@ end
 Данные для `report['allBrowsers']` брались путём дополнительной итерация, удалил дополнительную итерацию, использовал данные из `uniqueBrowsers`, сократил время c 0.731 до 0.716
 
 ### Находка №9
-Перебрал схему, понял, что входные данные приходят в определённом порядке, можно на этом сыграть и проводить меньше итерация и довести до линейной зависимости. В результате сократил время работы с 0.716 до 0.140
+Перебрал схему, понял, что входные данные приходят в определённом порядке, можно на этом сыграть и проводить меньше итерация и довести до линейной зависимости. В результате сократил время работы с 0.716 до 0.136
 
+### Находка №10
+Бесполезный Date.strftime, заменён на сhomp. Заменён each + push, на map. `to_json` -медленный, заменён на `oj`.В результате сокращено время работы с 0.136 до 0.064
 
 ## Результаты
 В результате проделанной оптимизации наконец удалось обработать файл с данными.
-Удалось улучшить метрику системы с бесконечно долго выполнения на ожидамые 30 сек и уложиться в заданный бюджет.
+Удалось улучшить метрику системы с бесконечно долго выполнения до 33 секунд
 
 Было весело :)
 

lib/task.rb

@@ -7,27 +7,25 @@ def initialize(result_file_path: nil, data_file_path: nil, dasable_gc: true)
 
   def parse_user(fields)
     {
-      'id' => fields[1],
-      'first_name' => fields[2],
-      'last_name' => fields[3],
-      'age' => fields[4],
+      id: fields[1],
+      full_name: "#{fields[2]} #{fields[3]}"
     }
   end
 
   def parse_session(fields)
     {
-      'user_id' => fields[1],
-      'session_id' => fields[2],
-      'browser' => fields[3].upcase,
-      'time' => fields[4],
-      'date' => fields[5],
+      user_id: fields[1],
+      session_id: fields[2],
+      browser: fields[3].upcase,
+      time: fields[4].to_i,
+      date: fields[5].chomp,
     }
   end
 
   def collect_stats_from_user(report, user)
-    user_key = "#{user.attributes['first_name']} #{user.attributes['last_name']}"
-    report['usersStats'][user_key] ||= {}
-    report['usersStats'][user_key] = report['usersStats'][user_key].merge(yield(user))
+    user_key =user.attributes[:full_name]
+    report[:usersStats][user_key] ||= {}
+    report[:usersStats][user_key] = report[:usersStats][user_key].merge(yield(user))
   end
 
   def work
@@ -44,7 +42,7 @@ def work
 
       if cols[0] == 'session'
         session = parse_session(cols)
-        uniqueBrowsers << session['browser']
+        uniqueBrowsers << session[:browser]
         sessions << session
         @user.sessions << session
       end
@@ -55,18 +53,17 @@ def work
     report[:totalUsers] = user_objects.count
     progress_bar = ProgressBar.create(total: user_objects.count, format: '%a, %J, %E %B')
 
-    # Подсчёт количества уникальных браузеров
-    report['uniqueBrowsersCount'] = uniqueBrowsers.count
-    report['totalSessions'] = sessions.count
-    report['allBrowsers'] = uniqueBrowsers.sort.join(',')
-    report['usersStats'] = {}
+    report[:uniqueBrowsersCount] = uniqueBrowsers.count
+    report[:totalSessions] = sessions.count
+    report[:allBrowsers] = uniqueBrowsers.sort.join(',')
+    report[:usersStats] = {}
 
     user_objects.each do |user_object|
       prepare_stats(report, user_object)
       progress_bar.increment
     end
 
-    File.write(result_file_path, "#{report.to_json}\n")
+    File.write(result_file_path, "#{Oj.dump(report, mode: :compat)}\n")
   end
 
   private
@@ -75,29 +72,18 @@ def work
 
   def prepare_stats(report, user_object)
     collect_stats_from_user(report, user_object) do |user|
-      user_times, user_browsers, user_dates = [], [], []
-
-      user.sessions.each do |session|
-        user_times += [session['time'].to_i]
-        user_browsers += [session['browser']]
-        user_dates += [Date.strptime(session['date'], '%F').iso8601]
-      end
+      user_times = user.sessions.map { |session| session[:time] }
+      user_browsers = user.sessions.map { |session| session[:browser] }
+      user_dates = user.sessions.map { |session| session[:date] }
 
       {
-        # Собираем количество сессий по пользователям
-        'sessionsCount' => user.sessions.count,
-        # Собираем количество времени по пользователям
-        'totalTime' =>  "#{user_times.sum} min.",
-        # Выбираем самую длинную сессию пользователя
-        'longestSession' =>  "#{user_times.max} min.",
-        # Браузеры пользователя через запятую
-        'browsers' => user_browsers.sort.join(', '),
-        # Хоть раз использовал IE?
-        'usedIE' => user_browsers.any? { |b| b.match? /INTERNET EXPLORER/ },
-        # Всегда использовал только Chrome?
-        'alwaysUsedChrome' => user_browsers.all? { |b| b.match? /CHROME/ },
-        # Даты сессий через запятую в обратном порядке в формате iso8601
-        'dates' => user_dates.sort.reverse
+        sessionsCount: user.sessions.count,
+        totalTime:  "#{user_times.sum} min.",
+        longestSession:  "#{user_times.max} min.",
+        browsers: user_browsers.sort.join(', '),
+        usedIE: user_browsers.any? { |b| b.match? /INTERNET EXPLORER/ },
+        alwaysUsedChrome: user_browsers.all? { |b| b.match? /CHROME/ },
+        dates: user_dates.sort { |a, b| b <=> a }
       }
     end
   end

profilers/1_ruby_spy.rb

@@ -8,7 +8,8 @@
 
 require_relative '../config/environment'
 
-Task.new(dasable_gc: false).work
+p Benchmark.measure { Task.new(dasable_gc: false).work }
+
 
 result_file_path = 'data/result.json'
 File.delete(result_file_path) if File.exist?(result_file_path)

spec/task_spec.rb

@@ -21,18 +21,21 @@
     end
 
     describe "performnce test" do
+      before do
+        allow(ProgressBar).to receive(:create).and_return(double(increment: true))
+      end
       context "when 20k rows" do
         let(:data_file_path) { 'spec/fixtures/data_20k.txt' }
 
         it 'executes faster than 0.2 seconds' do
-          expect { task.work }.to perform_under(0.2).sec.warmup(2).times.sample(10).times
+          expect { task.work }.to perform_under(0.1).sec.warmup(2).times.sample(10).times
         end
       end
 
       context "when 18 rows" do
         it "executes at least 5_300 times in second" do
           allow(File).to receive(:write).and_return(true)
-          expect { task.work }.to perform_at_least(5_300).within(1).warmup(0.2).ips
+          expect { task.work }.to perform_at_least(6_000).within(1).warmup(0.2).ips
         end
       end
     end
@@ -86,5 +89,9 @@
 # 20_000 ~ 0.716
 
 # После одинацатого исправления
-# 10_000 ~ 0.75
+# 10_000 ~ 0.075
 # 20_000 ~ 0.136
+
+# После двенадцатого исправления
+# 10_000 ~ 0.034
+# 20_000 ~ 0.064