Sur d’autres sites (3538)

• What is Google Analytics data sampling and what’s so bad about it ?

  16 août 2019, par Joselyn Khor — Analytics Tips, Development
  What is Google Analytics data sampling, and what’s so bad about it ?

  Google (2019) explains what data sampling is :

  “In data analysis, sampling is the practice of analysing a subset of all data in order to uncover the meaningful information in the larger data set.”[1]

  This is basically saying instead of analysing all of the data, there’s a threshold on how much data is analysed and any data after that will be an assumption based on patterns.

  Google’s (2019) data sampling thresholds :

  Ad-hoc queries of your data are subject to the following general thresholds for sampling :
  [Google] Analytics Standard : 500k sessions at the property level for the date range you are using
  [Google] Analytics 360 : 100M sessions at the view level for the date range you are using (para. 3) [2]

  This threshold is limiting because your data in GA may become more inaccurate as the traffic to your website increases.

  Say you’re looking through all your traffic data from the last year and find you have 5 million page views. Only 500K of that 5 million is accurate ! The data for the remaining 4.5 million (90%) is an assumption based on the 500K sample size.

  This is a key weapon Google uses to sell to large businesses. In order to increase that threshold for more accurate reporting, upgrading to premium Google Analytics 360 for approximately US$150,000 per year seems to be the only choice.

  What’s so bad about data sampling ?

  It’s unfair to say sampled data is to be disregarded completely. There is a calculation ensuring it is representative and can allow you to get good enough insights. However, we don’t encourage it as we don’t just want “good enough” data. We want the actual facts.

  In a recent survey sent to Matomo customers, we found a large proportion of users switched from GA to Matomo due to the data sampling issue.

  The two reasons why data sampling isn’t preferable : 

  1. If the selected sample size is too small, you won’t get a good representative of all the data. 
  2. The bigger your website grows, the more inaccurate your reports will become.

  An example of why we don’t fully trust sampled data is, say you have an ecommerce store and see your GA revenue reports aren’t matching the actual sales data, due to data sampling. In GA you may be seeing revenue for the month as $1 million, instead of actual sales of $800K.

  The sampling here has caused an inaccuracy that could have negative financial implications. What you get in the GA report is an estimated dollar figure rather than the actual sales. Making decisions based on inaccurate data can be costly in this case. 

  Another disadvantage to sampled data is that you might be missing out on opportunities you would’ve noticed if you were given a view of the whole. E.g. not being able to see real patterns occurring due to the data already being predicted. 

  By not getting a chance to see things as they are and only being able to jump to the conclusions and assumptions made by GA is risky. The bigger your business grows, the less you can risk making business decisions based on assumptions that could be inaccurate. 

  If you feel you could be missing out on opportunities because your GA data is sampled data, get 100% accurately reported data. 

  The benefits of 100% accurate data

  Matomo doesn’t use data sampling on any of our products or plans. You get to see all of your data and not a sampled data set.

  Data quality is necessary for high impact decision-making. It’s hard to make strategic changes if you don’t have confidence that your data is reliable and accurate.

  Learn about how Matomo is a serious contender to Google Analytics 360. 

  Now you can import your Google Analytics data directly into your Matomo

  If you’re wanting to make the switch to Matomo but worried about losing all your historic Google Analytics data, you can now import this directly into your Matomo with the Google Analytics Importer tool.

  
  Take the challenge !

  Compare your Google Analytics data (sampled data) against your Matomo data, or if you don’t have Matomo data yet, sign up to our 30-day free trial and start tracking !

  References :

  [1 & 2] About data sampling. (2019). In Analytics Help About data sampling. Retrieved August 14, 2019, from https://support.google.com/analytics/answer/2637192

• Could not find tag for codec h264 in stream #0 (mp4)

  18 août 2019, par TabsNotSpaces

  I’ve been using the sickbeard_mp4_converter for a while to convert video files to mp4 by generating a script for ffmpeg. I’m not sure what I changed, but the ffmpeg script it generates no longer works and I’m having trouble debugging it. Can anyone tell from my log what the issue is ? Yes, its supposed to be an mp4 to an mp4, which is typically fine.

  I’m at the point where I’m using an mp4 that worked with the same autogenerated script yesterday but it no longer is. I remember updating ffmpeg but downgrading did not resolve the issue, though I may have not downgraded enough.

  ffmpeg 4.1.4

  MediaInfo output :

  $ mediainfo --fullscan Downloads/Dallas\ Buyers\ Club\ \(2013\).mp4.original 
  
  General
  
  Count                                    : 334
  
  Count of stream of this kind             : 1
  
  Kind of stream                           : General
  
  Kind of stream                           : General
  
  Stream identifier                        : 0
  
  Count of video streams                   : 1
  
  Count of audio streams                   : 1
  
  Video_Format_List                        : AVC
  
  Video_Format_WithHint_List               : AVC
  
  Codecs Video                             : AVC
  
  Audio_Format_List                        : AAC LC
  
  Audio_Format_WithHint_List               : AAC LC
  
  Audio codecs                             : AAC LC
  
  Audio_Language_List                      : English
  
  Complete name                            : Downloads/Dallas Buyers Club (2013).mp4.original
  
  Folder name                              : Downloads
  
  File name extension                      : Dallas Buyers Club (2013).mp4.original
  
  File name                                : Dallas Buyers Club (2013).mp4
  
  File extension                           : original
  
  Format                                   : MPEG-4
  
  Format                                   : MPEG-4
  
  Format/Extensions usually used           : braw mov mp4 m4v m4a m4b m4p m4r 3ga 3gpa 3gpp 3gp 3gpp2 3g2 k3g jpm jpx mqv ismv isma ismt f4a f4b f4v
  
  Commercial name                          : MPEG-4
  
  Format profile                           : Base Media
  
  Internet media type                      : video/mp4
  
  Codec ID                                 : isom
  
  Codec ID                                 : isom (isom/avc1)
  
  Codec ID/Url                             : http://www.apple.com/quicktime/download/standalone.html
  
  CodecID_Compatible                       : isom/avc1
  
  File size                                : 1987698473
  
  File size                                : 1.85 GiB
  
  File size                                : 2 GiB
  
  File size                                : 1.9 GiB
  
  File size                                : 1.85 GiB
  
  File size                                : 1.851 GiB
  
  Duration                                 : 7017023
  
  Duration                                 : 1 h 56 min
  
  Duration                                 : 1 h 56 min 57 s 23 ms
  
  Duration                                 : 1 h 56 min
  
  Duration                                 : 01:56:57.023
  
  Duration                                 : 01:56:58;17
  
  Duration                                 : 01:56:57.023 (01:56:58;17)
  
  Overall bit rate mode                    : VBR
  
  Overall bit rate mode                    : Variable
  
  Overall bit rate                         : 2266144
  
  Overall bit rate                         : 2 266 kb/s
  
  Frame rate                               : 23.976
  
  Frame rate                               : 23.976 FPS
  
  Frame count                              : 168239
  
  Stream size                              : 3690657
  
  Stream size                              : 3.52 MiB (0%)
  
  Stream size                              : 4 MiB
  
  Stream size                              : 3.5 MiB
  
  Stream size                              : 3.52 MiB
  
  Stream size                              : 3.520 MiB
  
  Stream size                              : 3.52 MiB (0%)
  
  Proportion of this stream                : 0.00186
  
  HeaderSize                               : 3690598
  
  DataSize                                 : 1984007824
  
  FooterSize                               : 51
  
  IsStreamable                             : Yes
  
  Title                                    : Dallas Buyers Club
  
  Movie name                               : Dallas Buyers Club
  
  Director                                 : Jean-Marc Valle
  
  Actor                                    : Matthew McConaughey / Jennifer Garner / Jared Leto / Denis O'Hare / Steve Zahn
  
  Screenplay by                            : Craig Borten / Melisa Wallack
  
  Producer                                 : Robbie Brenner / Rachel Winter / Kerry Barden / Rich Delia / Paul Schnee
  
  Genre                                    : Drama
  
  ContentType                              : Unknown Type
  
  Description                              : Sometimes it takes a hustler to change the world
  
  Recorded date                            : 2013-11-17
  
  Encoded date                             : UTC 2014-01-24 08:11:15
  
  Tagged date                              : UTC 2014-01-24 08:11:15
  
  File last modification date              : UTC 2019-08-16 16:44:14
  
  File last modification date (local)      : 2019-08-16 11:44:14
  
  Writing application                      : MDH:Dallas Buyers Club (2013).mp4
  
  Writing application                      : MDH:Dallas Buyers Club (2013).mp4
  
  Cover                                    : Yes
  
  ContentRating                            : mpaa|R|400|
  
  LongDescription                          : Loosely based on the true-life tale of Ron Woodroof, a drug-taking, women-loving, homophobic man who in 1986 was diagnosed with HIV/AIDS and given thirty days to live.
  
  FileExtension_Invalid                    : braw mov mp4 m4v m4a m4b m4p m4r 3ga 3gpa 3gpp 3gp 3gpp2 3g2 k3g jpm jpx mqv ismv isma ismt f4a f4b f4v
  
  
  
  Video
  
  Count                                    : 378
  
  Count of stream of this kind             : 1
  
  Kind of stream                           : Video
  
  Kind of stream                           : Video
  
  Stream identifier                        : 0
  
  StreamOrder                              : 0
  
  ID                                       : 1
  
  ID                                       : 1
  
  Format                                   : AVC
  
  Format                                   : AVC
  
  Format/Info                              : Advanced Video Codec
  
  Format/Url                               : http://developers.videolan.org/x264.html
  
  Commercial name                          : AVC
  
  Format profile                           : High@L4.1
  
  Format settings                          : CABAC / 4 Ref Frames
  
  Format settings, CABAC                   : Yes
  
  Format settings, CABAC                   : Yes
  
  Format settings, Reference frames        : 4
  
  Format settings, Reference frames        : 4 frames
  
  Internet media type                      : video/H264
  
  Codec ID                                 : avc1
  
  Codec ID/Info                            : Advanced Video Coding
  
  Duration                                 : 7016967
  
  Duration                                 : 1 h 56 min
  
  Duration                                 : 1 h 56 min 56 s 967 ms
  
  Duration                                 : 1 h 56 min
  
  Duration                                 : 01:56:56.967
  
  Duration                                 : 01:56:58;17
  
  Duration                                 : 01:56:56.967 (01:56:58;17)
  
  Bit rate                                 : 2169000
  
  Bit rate                                 : 2 169 kb/s
  
  Maximum bit rate                         : 12300880
  
  Maximum bit rate                         : 12.3 Mb/s
  
  Width                                    : 1920
  
  Width                                    : 1 920 pixels
  
  Height                                   : 800
  
  Height                                   : 800 pixels
  
  Sampled_Width                            : 1920
  
  Sampled_Height                           : 800
  
  Pixel aspect ratio                       : 1.000
  
  Display aspect ratio                     : 2.400
  
  Display aspect ratio                     : 2.40:1
  
  Rotation                                 : 0.000
  
  Frame rate mode                          : CFR
  
  Frame rate mode                          : Constant
  
  Frame rate                               : 23.976
  
  Frame rate                               : 23.976 (24000/1001) FPS
  
  FrameRate_Num                            : 24000
  
  FrameRate_Den                            : 1001
  
  Original frame rate                      : 23.976
  
  Original frame rate                      : 23.976 (23976/1000) FPS
  
  FrameRate_Original_Num                   : 23976
  
  FrameRate_Original_Den                   : 1000
  
  Frame count                              : 168239
  
  Color space                              : YUV
  
  Chroma subsampling                       : 4:2:0
  
  Chroma subsampling                       : 4:2:0
  
  Bit depth                                : 8
  
  Bit depth                                : 8 bits
  
  Scan type                                : Progressive
  
  Scan type                                : Progressive
  
  Bits/(Pixel*Frame)                       : 0.059
  
  Stream size                              : 1901715488
  
  Stream size                              : 1.77 GiB (96%)
  
  Stream size                              : 2 GiB
  
  Stream size                              : 1.8 GiB
  
  Stream size                              : 1.77 GiB
  
  Stream size                              : 1.771 GiB
  
  Stream size                              : 1.77 GiB (96%)
  
  Proportion of this stream                : 0.95674
  
  Writing library                          : x264 - core 135 r2 f0c1c53
  
  Writing library                          : x264 core 135 r2 f0c1c53
  
  Encoded_Library_Name                     : x264
  
  Encoded_Library_Version                  : core 135 r2 f0c1c53
  
  Encoding settings                        : cabac=1 / ref=4 / deblock=1:-1:-1 / analyse=0x3:0x133 / me=umh / subme=9 / psy=1 / psy_rd=1.00:0.15 / mixed_ref=1 / me_range=24 / chroma_me=1 / trellis=2 / 8x8dct=1 / cqm=0 / deadzone=21,11 / fast_pskip=0 / chroma_qp_offset=-3 / threads=36 / lookahead_threads=3 / sliced_threads=0 / nr=0 / decimate=1 / interlaced=0 / bluray_compat=0 / constrained_intra=0 / bframes=3 / b_pyramid=2 / b_adapt=2 / b_bias=0 / direct=3 / weightb=1 / open_gop=0 / weightp=2 / keyint=250 / keyint_min=23 / scenecut=40 / intra_refresh=0 / rc_lookahead=60 / rc=2pass / mbtree=1 / bitrate=2169 / ratetol=1.0 / qcomp=0.60 / qpmin=0 / qpmax=69 / qpstep=4 / cplxblur=20.0 / qblur=0.5 / vbv_maxrate=31250 / vbv_bufsize=31250 / nal_hrd=none / ip_ratio=1.40 / aq=1:1.00
  
  Encoded date                             : UTC 2014-01-24 08:11:15
  
  Tagged date                              : UTC 2014-01-24 08:11:38
  
  colour_description_present               : Yes
  
  colour_description_present_Source        : Stream
  
  Color range                              : Limited
  
  colour_range_Source                      : Stream
  
  Color primaries                          : BT.709
  
  colour_primaries_Source                  : Stream
  
  transfer_characteristics_Source          : Stream
  
  Matrix coefficients                      : BT.709
  
  matrix_coefficients_Source               : Stream
  
  Codec configuration box                  : avcC
  
  
  
  Audio
  
  Count                                    : 280
  
  Count of stream of this kind             : 1
  
  Kind of stream                           : Audio
  
  Kind of stream                           : Audio
  
  Stream identifier                        : 0
  
  StreamOrder                              : 1
  
  ID                                       : 2
  
  ID                                       : 2
  
  Format                                   : AAC
  
  Format                                   : AAC LC
  
  Format/Info                              : Advanced Audio Codec Low Complexity
  
  Commercial name                          : AAC
  
  Format settings, SBR                     : No (Explicit)
  
  Format settings, SBR                     : No (Explicit)
  
  Format_AdditionalFeatures                : LC
  
  Codec ID                                 : mp4a-40-2
  
  Duration                                 : 7017023
  
  Duration                                 : 1 h 56 min
  
  Duration                                 : 1 h 56 min 57 s 23 ms
  
  Duration                                 : 1 h 56 min
  
  Duration                                 : 01:56:57.023
  
  Duration                                 : 01:56:38:17
  
  Duration                                 : 01:56:57.023 (01:56:38:17)
  
  Bit rate mode                            : VBR
  
  Bit rate mode                            : Variable
  
  Bit rate                                 : 93816
  
  Bit rate                                 : 93.8 kb/s
  
  Maximum bit rate                         : 107376
  
  Maximum bit rate                         : 107 kb/s
  
  Channel(s)                               : 2
  
  Channel(s)                               : 2 channels
  
  Channel positions                        : Front: L R
  
  Channel positions                        : 2/0/0
  
  Channel layout                           : L R
  
  Samples per frame                        : 1024
  
  Sampling rate                            : 48000
  
  Sampling rate                            : 48.0 kHz
  
  Samples count                            : 336817104
  
  Frame rate                               : 46.875
  
  Frame rate                               : 46.875 FPS (1024 SPF)
  
  Frame count                              : 328923
  
  Compression mode                         : Lossy
  
  Compression mode                         : Lossy
  
  Stream size                              : 82292328
  
  Stream size                              : 78.5 MiB (4%)
  
  Stream size                              : 78 MiB
  
  Stream size                              : 78 MiB
  
  Stream size                              : 78.5 MiB
  
  Stream size                              : 78.48 MiB
  
  Stream size                              : 78.5 MiB (4%)
  
  Proportion of this stream                : 0.04140
  
  Language                                 : en
  
  Language                                 : English
  
  Language                                 : English
  
  Language                                 : en
  
  Language                                 : eng
  
  Language                                 : en
  
  Encoded date                             : UTC 2014-01-24 08:11:37
  
  Tagged date                              : UTC 2014-01-24 08:11:38

  Log :

  $ /usr/local/bin/ffmpeg -i "/Users/Me/Downloads/Dallas Buyers Club (2013).mp4.original" -vcodec libx264 -map 0:0 -vb 2063k -c:a:0 copy -map 0:2 -metadata:s:a:0 language=eng -disposition:a:0 default -f mp4 -threads 0 -y "/Users/Me/Downloads/Dallas Buyers Club (2013).mp4"
  
  ffmpeg version 4.1.4 Copyright (c) 2000-2019 the FFmpeg developers
  
    built with Apple LLVM version 10.0.1 (clang-1001.0.46.4)
  
    configuration: --prefix=/usr/local/Cellar/ffmpeg/4.1.4_1 --enable-shared --enable-pthreads --enable-version3 --enable-avresample --cc=clang --host-cflags='-I/Library/Java/JavaVirtualMachines/adoptopenjdk-12.0.1.jdk/Contents/Home/include -I/Library/Java/JavaVirtualMachines/adoptopenjdk-12.0.1.jdk/Contents/Home/include/darwin' --host-ldflags= --enable-ffplay --enable-gnutls --enable-gpl --enable-libaom --enable-libbluray --enable-libmp3lame --enable-libopus --enable-librubberband --enable-libsnappy --enable-libtesseract --enable-libtheora --enable-libvorbis --enable-libvpx --enable-libx264 --enable-libx265 --enable-libxvid --enable-lzma --enable-libfontconfig --enable-libfreetype --enable-frei0r --enable-libass --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-librtmp --enable-libspeex --enable-videotoolbox --disable-libjack --disable-indev=jack --enable-libaom --enable-libsoxr
  
    libavutil      56. 22.100 / 56. 22.100
  
    libavcodec     58. 35.100 / 58. 35.100
  
    libavformat    58. 20.100 / 58. 20.100
  
    libavdevice    58.  5.100 / 58.  5.100
  
    libavfilter     7. 40.101 /  7. 40.101
  
    libavresample   4.  0.  0 /  4.  0.  0
  
    libswscale      5.  3.100 /  5.  3.100
  
    libswresample   3.  3.100 /  3.  3.100
  
    libpostproc    55.  3.100 / 55.  3.100
  
  [mov,mp4,m4a,3gp,3g2,mj2 @ 0x7fc38e801400] stream 0, timescale not set
  
  Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '/Users/Me/Downloads/Dallas Buyers Club (2013).mp4.original':
  
    Metadata:
  
      major_brand     : isom
  
      minor_version   : 1
  
      compatible_brands: isomavc1
  
      title           : Dallas Buyers Club
  
      genre           : Drama
  
      date            : 2013-11-17
  
      encoder         : MDH:Dallas Buyers Club (2013).mp4
  
      media_type      : 9
  
      hd_video        : 2
  
      description     : Sometimes it takes a hustler to change the world
  
      synopsis        : Loosely based on the true-life tale of Ron Woodroof, a drug-taking, women-loving, homophobic man who in 1986 was diagnosed with HIV/AIDS and given thirty days to live.
  
      creation_time   : 2014-01-24T08:11:15.000000Z
  
    Duration: 01:56:57.02, start: 0.000000, bitrate: 2266 kb/s
  
      Stream #0:0: Video: mjpeg, yuvj420p(pc, bt470bg/unknown/unknown), 500x750 [SAR 1:1 DAR 2:3], 90k tbr, 90k tbn, 90k tbc
  
      Stream #0:1(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p(tv, bt709/bt709/unknown), 1920x800, 2168 kb/s, 23.98 fps, 23.98 tbr, 24k tbn, 47.95 tbc (default)
  
      Metadata:
  
        creation_time   : 2014-01-24T08:11:15.000000Z
  
        handler_name    : video.264#trackID=1:fps=23.976 - Imported with GPAC 0.5.0-rev
  
      Stream #0:2(eng): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 93 kb/s (default)
  
      Metadata:
  
        creation_time   : 2014-01-24T08:11:37.000000Z
  
        handler_name    : GPAC ISO Audio Handler
  
  Stream mapping:
  
    Stream #0:0 -> #0:0 (mjpeg (native) -> h264 (libx264))
  
    Stream #0:2 -> #0:1 (copy)
  
  Press [q] to stop, [?] for help
  
  [mp4 @ 0x7fc38e811000] Frame rate very high for a muxer not efficiently supporting it.
  
  Please consider specifying a lower framerate, a different muxer or -vsync 2
  
  [libx264 @ 0x7fc38e823e00] using SAR=1/1
  
  [libx264 @ 0x7fc38e823e00] MB rate (135360000) > level limit (16711680)
  
  [libx264 @ 0x7fc38e823e00] using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2 AVX FMA3 BMI2 AVX2
  
  [libx264 @ 0x7fc38e823e00] profile High, level 6.2
  
  [libx264 @ 0x7fc38e823e00] 264 - core 155 r2917 0a84d98 - H.264/MPEG-4 AVC codec - Copyleft 2003-2018 - http://www.videolan.org/x264.html - options: cabac=1 ref=3 deblock=1:0:0 analyse=0x3:0x113 me=hex subme=7 psy=1 psy_rd=1.00:0.00 mixed_ref=1 me_range=16 chroma_me=1 trellis=1 8x8dct=1 cqm=0 deadzone=21,11 fast_pskip=1 chroma_qp_offset=-2 threads=12 lookahead_threads=2 sliced_threads=0 nr=0 decimate=1 interlaced=0 bluray_compat=0 constrained_intra=0 bframes=3 b_pyramid=2 b_adapt=1 b_bias=0 direct=1 weightb=1 open_gop=0 weightp=2 keyint=250 keyint_min=25 scenecut=40 intra_refresh=0 rc_lookahead=40 rc=abr mbtree=1 bitrate=2063 ratetol=1.0 qcomp=0.60 qpmin=0 qpmax=69 qpstep=4 ip_ratio=1.40 aq=1:1.00
  
  [mp4 @ 0x7fc38e811000] Could not find tag for codec h264 in stream #0, codec not currently supported in container
  
  Could not write header for output file #0 (incorrect codec parameters ?): Invalid argument
  
  Error initializing output stream 0:0 -- 
  
  [libx264 @ 0x7fc38e823e00] final ratefactor: 89.20
  
  Conversion failed!

• aws-lambda not recognizing ffmpeg command

  28 août 2019, par Jay

  AWS Lambda function running Python is not recognizing -filter_complex

     os.system(f"/tmp/ffmpeg -f lavfi -i color=black -i 2.gif -filter_complex [0][1]scale2ref[bg][gif];[bg]setsar=1[bg];[bg][gif]overlay=shortest=1 2.mp4")

  Error from CloudWatch :

  sh: -filter_complex: command not found
  
  
  
  Running: 
  
  ffmpeg version N-48801-g06ba4783a0-static https://johnvansickle.com/ffmpeg/ Copyright (c) 2000-2019 the FFmpeg developers

  I think I know the problem. Somehow I need to put Quotes around :

  "[0][1]scale2ref[bg][gif];[bg]setsar=1[bg];[bg][gif]overlay=shortest=1"