Homework 0.0.1

case-study.md

@@ -0,0 +1,46 @@
+# Case-study оптимизации
+
+## Актуальная проблема
+В нашем проекте возникла серьёзная проблема.
+Необходимо было обработать файл с данными, чуть больше ста мегабайт.
+У нас уже была программа на `ruby`, которая умела делать нужную обработку.
+Она успешно работала на файлах размером пару мегабайт, но для большого файла она работала слишком долго, и не было понятно, закончит ли она вообще работу за какое-то разумное время.
+Я решил исправить эту проблему, оптимизировав эту программу.
+
+## Формирование метрики
+Для того, чтобы понимать, дают ли мои изменения положительный эффект на быстродействие программы я придумал использовать такую метрику: Wall Time
+
+## Гарантия корректности работы оптимизированной программы
+Программа поставлялась с тестом. Выполнение этого теста в фидбек-лупе позволяет не допустить изменения логики программы при оптимизации.
+
+## Feedback-Loop
+Для того, чтобы иметь возможность быстро проверять гипотезы я выстроил эффективный `feedback-loop`, который позволил мне получать обратную связь по эффективности сделанных изменений за 1s-2s
+
+Вот как я построил `feedback_loop`: 
+- выключил GC 
+- добавил ruby-prof для отслеживания Времени
+- Создал тестовый файл на 4 мб
+- Нашел Главную Точку Роста
+- Исправил ее
+- Проверил тест
+
+## Вникаем в детали системы, чтобы найти главные точки роста
+Для того, чтобы найти "точки роста" для оптимизации я воспользовался ruby-prof reports: flat, graph, callstask
+
+Вот какие проблемы удалось найти и решить
+
+- Многочисленое использование бесполезных map
+- Использование бесполезного Data.parse
+- Создание юзера после парсинга файла
+- Выгрузка файла сразу в память
+- Создание Json 
+
+## Результаты
+В результате проделанной оптимизации наконец удалось обработать файл с данными.
+Удалось улучшить метрику системы с "не дождался" да 30с и уложиться в заданный бюджет.
+
+ИЗ наблюдений:
+Сложность алгоритма - может в лиять в сотни раз больше чем не правильные конструкции
+
+## Защита от регрессии производительности
+Для защиты от потери достигнутого прогресса при дальнейших изменениях программы был написан performance test.

data_test.txt

@@ -0,0 +1,18 @@
+user,0,Leida,Cira,0
+session,0,0,Safari 29,87,2016-10-23
+session,0,1,Firefox 12,118,2017-02-27
+session,0,2,Internet Explorer 28,31,2017-03-28
+session,0,3,Internet Explorer 28,109,2016-09-15
+session,0,4,Safari 39,104,2017-09-27
+session,0,5,Internet Explorer 35,6,2016-09-01
+user,1,Palmer,Katrina,65
+session,1,0,Safari 17,12,2016-10-21
+session,1,1,Firefox 32,3,2016-12-20
+session,1,2,Chrome 6,59,2016-11-11
+session,1,3,Internet Explorer 10,28,2017-04-29
+session,1,4,Chrome 13,116,2016-12-28
+user,2,Gregory,Santos,86
+session,2,0,Chrome 35,6,2018-09-21
+session,2,1,Safari 49,85,2017-05-22
+session,2,2,Firefox 47,17,2018-02-02
+session,2,3,Chrome 20,84,2016-11-25

performance_tests/versus.rb

@@ -0,0 +1,21 @@
+# frozen_string_literal: true
+
+require 'benchmark/ips'
+require 'date'
+
+STRING = '2018-03-21'
+
+def strftime
+  Date.strptime(STRING, '%Y-%m-%d')
+end
+
+def iso
+  Date.iso8601(STRING)
+end
+
+Benchmark.ips do |x|
+  x.report('Date#iso8601') { iso }
+  x.report('Date#strftime') { strftime }
+
+  x.compare!
+end

profiling_results/profile.flat.txt

@@ -0,0 +1,55 @@
+Measure Mode: wall_time
+Thread ID: 70342647472220
+Fiber ID: 70342668989760
+Total: 67.361716
+Sort by: self_time
+
+ %self      total      self      wait     child     calls  name
+ 16.48     27.888    11.102     0.000    16.786        1   String#each_line
+ 11.97      8.605     8.066     0.000     0.539  2750940   <Class::Date>#strptime
+ 11.72      7.897     7.897     0.000     0.000  3250940   String#split
+  8.16     15.075     5.494     0.000     9.581  2000000   Array#map
+  5.24      3.533     3.533     0.000     0.000  8126279   String#encode
+  5.10     25.506     3.434     0.000    22.072        1   Array#each
+  4.81      4.496     3.242     0.000     1.255  2750940   Object#parse_session
+  4.72     13.679     3.177     0.000    10.502        1   JSON::Ext::Generator::GeneratorMethods::Hash#to_json
+  4.70      6.302     3.166     0.000     3.136  2709158   JSON::Ext::Generator::GeneratorMethods::Object#to_json
+  3.38      3.247     2.277     0.000     0.970  1000000   Array#sort
+  2.93      1.977     1.977     0.000     0.000  2709158   Date#to_s
+  2.23      1.501     1.501     0.000     0.000  2750940   Set#add
+  2.02      1.359     1.359     0.000     0.000   500000   Array#any?
+  1.92      1.296     1.296     0.000     0.000  3447260   Symbol#to_s
+  1.86      1.255     1.255     0.000     0.000  2750940   String#upcase
+  1.57      1.057     1.057     0.000     0.000  2750940   User#add_session
+  1.45      0.976     0.976     0.000     0.000  5501880   String#to_i
+  1.44      0.970     0.970     0.000     0.000  5568523   Date#<=>
+  1.29      1.114     0.867     0.000     0.246   500002  *Class#new
+  1.07      0.722     0.722     0.000     0.000   500000   Object#parse_user
+  0.97      0.657     0.657     0.000     0.000  1000000   Integer#to_s
+  0.96      0.646     0.646     0.000     0.000   500001   Array#join
+  0.80      0.539     0.539     0.000     0.000  2750940   Integer#div
+  0.69      0.464     0.464     0.000     0.000   500000   Array#all?
+  0.63      0.424     0.424     0.000     0.000   492467   Hash#keys
+  0.44      0.296     0.296     0.000     0.000   500000   Array#reverse
+  0.37      0.246     0.246     0.000     0.000   500000   User#initialize
+  0.24     67.362     0.160     0.000    67.202        1   Object#work
+  0.18      0.118     0.118     0.000     0.000   500000   Array#sum
+  0.17      0.114     0.114     0.000     0.000   500000   Array#max
+  0.16      0.106     0.106     0.000     0.000   492465   String#to_s
+  0.14      0.096     0.096     0.000     0.000   500001   Array#count
+  0.13      0.086     0.086     0.000     0.000        1   <Class::IO>#read
+  0.06      0.043     0.043     0.000     0.000        1   <Class::IO>#write
+  0.00      0.000     0.000     0.000     0.000        1   Enumerable#sort
+  0.00     67.362     0.000     0.000    67.362        1   [global]#[no method]
+  0.00      0.000     0.000     0.000     0.000        2   Hash#each_key
+  0.00      0.000     0.000     0.000     0.000        2   Set#each
+  0.00      0.000     0.000     0.000     0.000        1   Enumerable#count
+  0.00      0.000     0.000     0.000     0.000        1   JSON::Ext::Generator::State#initialize_copy
+  0.00      0.000     0.000     0.000     0.000        1   Set#initialize
+  0.00      0.000     0.000     0.000     0.000        1   Kernel#dup
+  0.00      0.000     0.000     0.000     0.000        1   Hash#initialize
+  0.00     25.506     0.000     0.000    25.506        1   Object#collect_stats_from_users
+  0.00      0.000     0.000     0.000     0.000        1   Kernel#initialize_dup
+  0.00      0.000     0.000     0.000     0.000        1   NilClass#nil?
+
+* indicates recursively called methods