Recherche avancée

Sur d’autres sites (7055)

• Sequencing MIDI From A Chiptune

  28 avril 2013, par Multimedia Mike — Outlandish Brainstorms

  The feature requests for my game music appreciation website project continue to pour in. Many of them take the form of “please add player support for system XYZ and the chiptune library to go with it.” Most of these requests are A) plausible, and B) in process. I have also received recommendations for UI improvements which I take under consideration. Then there are the numerous requests to port everything from Native Client to JavaScript so that it will work everywhere, even on mobile, a notion which might take a separate post to debunk entirely.

  But here’s an interesting request about which I would like to speculate : Automatically convert a chiptune into a MIDI file. I immediately wanted to dismiss it as impossible or highly implausible. But, as is my habit, I started pondering the concept a little more carefully and decided that there’s an outside chance of getting some part of the idea to work.

  Intro to MIDI
  MIDI stands for Musical Instrument Digital Interface. It’s a standard musical interchange format and allows music instruments and computers to exchange musical information. The file interchange format bears the extension .mid and contains a sequence of numbers that translate into commands separated by time deltas. E.g. : turn key on (this note, this velocity) ; wait x ticks ; turn key off ; wait y ticks ; etc. I’m vastly oversimplifying, as usual.

  MIDI fascinated me back in the days of dialup internet and discrete sound cards (see also my write-up on the Gravis Ultrasound). Typical song-length MIDI files often ranged from a few kilobytes to a few 10s of kilobytes. They were significantly smaller than the MOD et al. family of tracker music formats mostly by virtue of the fact that MIDI files aren’t burdened by transporting digital audio samples.
  
  I know I’m missing a lot of details. I haven’t dealt much with MIDI in the past… 15 years or so (ever since computer audio became a blur of MP3 and AAC audio). But I’m led to believe it’s still relevant. The individual who requested this feature expressed an interest in being able to import the sequenced data into any of the many music programs that can interpret .mid files.

  The Pitch
  To limit the scope, let’s focus on music that comes from the 8-bit Nintendo Entertainment System or the original Game Boy. The former features 2 square wave channels, a triangle wave, a noise channel, and a limited digital channel. The latter creates music via 2 square waves, a wave channel, and a noise channel. The roles that these various channels usually play typically break down as : square waves represent the primary melody, triangle wave is used to simulate a bass line, noise channel approximates a variety of percussive sounds, and the DPCM/wave channels are fairly free-form. They can have random game sound effects or, if they are to assist in the music, are often used for more authentic percussive sounds.

  The various channels are controlled via an assortment of memory-mapped hardware registers. These registers are fed values such as frequency, volume, and duty cycle. My idea is to modify the music playback engine to track when various events occur. Whenever a channel is turned on or off, that corresponds to a MIDI key on or off event. If a channel is already playing but a new frequency is written, that would likely count as a note change, so log a key off event followed by a new key on event.

  There is the major obstacle of what specific note is represented by a channel in a particular state. The MIDI standard defines 128 different notes spanning 11 octaves. Empirically, I wonder if I could create a table which maps the assorted frequencies to different MIDI notes ?

  I think this strategy would only work with the square and triangle waves. Noise and digital channels ? I’m not prepared to tackle that challenge.

  Prior Work ?
  I have to wonder if there is any existing work in this area. I’m certain that people have wanted to do this before ; I wonder if anyone has succeeded ?

  Just like reverse engineering a binary program entails trying to obtain a higher level abstraction of a program from a very low level representation, this challenge feels like reverse engineering a piece of music as it is being performed and automatically expressing it in a higher level form.

• How to limit FFMpeg CPU usage ? Threads ? [closed]

  6 mai 2013, par forg4t

  I read lot of forum comment how to limit ffmpeg cpu... many people wrote to use this formula : nice -n 10 or 20 it's ok. But I don't know what number should be use in ffmpeg threads ? 0 or 1, 2, 3 I don't know. I would really appreciate your help !

  I checked the system data :

  server : # lscpu
  Architecture : x86_64
  CPU op-mode(s) : 32-bit, 64-bit
  Byte Order : Little Endian
  CPU(s) : 2
  On-line CPU(s) list : 0,1
  Thread(s) per core : 1
  Core(s) per socket : 2
  Socket(s) : 1
  NUMA node(s) : 1
  Vendor ID : GenuineIntel
  CPU family : 6
  Model : 37
  Stepping : 1
  CPU MHz : 3066.775
  BogoMIPS : 6133.55
  Hypervisor vendor : VMware
  Virtualization type : full
  L1d cache : 32K
  L1i cache : 32K
  L2 cache : 256K
  L3 cache : 12288K
  NUMA node0 CPU(s) : 0,1
  

  server : # less /proc/cpuinfo
  processor : 0
  vendor_id : GenuineIntel
  cpu family : 6
  model : 37
  model name : Intel(R) Xeon(R) CPU X5675 @ 3.07GHz
  stepping : 1
  microcode : 0x15
  cpu MHz : 3066.775
  cache size : 12288 KB
  physical id : 0
  siblings : 2
  core id : 0
  cpu cores : 2
  apicid : 0
  initial apicid : 0
  fpu : yes
  fpu_exception : yes
  cpuid level : 11
  wp : yes
  

• ffmpeg conversion : Twitter rejects video with "Not valid video"

  12 février 2020, par DeadlyBacon

  I have an app that uploads via twitter api chunked upload, and it finally works with photos.

  However, I am trying to get it to work with videos.

  Uploading didnt work out-of-the-box even though the video format is mp4. The twitter guidelines for uploads are these

  With that in mind, I have this ffmpeg command so far :

  ffmpeg -i in.mp4  -vf \"scale=1280:720\" -b:v 5000K -minrate 5000K -maxrate 5000K -b:a 128K -r 30 -f mp4 -vcodec libx264 -profile:v high -pix_fmt yuv420p -strict -2  -ac 2 -acodec aac out.mp4

  I still get "Not valid video", and I don’t know why.

  Here’s my mediainfo output for out.mp4 :

  General
  
  Count                                    : 328
  
  Count of stream of this kind             : 1
  
  Kind of stream                           : General
  
  Kind of stream                           : General
  
  Stream identifier                        : 0
  
  Count of video streams                   : 1
  
  Count of audio streams                   : 1
  
  Video_Format_List                        : AVC
  
  Video_Format_WithHint_List               : AVC
  
  Codecs Video                             : AVC
  
  Video_Language_List                      : English
  
  Audio_Format_List                        : AAC
  
  Audio_Format_WithHint_List               : AAC
  
  Audio codecs                             : AAC LC
  
  Audio_Language_List                      : English
  
  Complete name                            : video-5e4405cd4348a5e4405cd434d2.mp4
  
  File name                                : video-5e4405cd4348a5e4405cd434d2
  
  File extension                           : mp4
  
  Format                                   : MPEG-4
  
  Format                                   : MPEG-4
  
  Format/Extensions usually used           : mov mp4 m4v m4a m4b m4p 3ga 3gpa 3gpp 3gp 3gpp2 3g2 k3g jpm jpx mqv ismv isma ismt f4a f4b f4v
  
  Commercial name                          : MPEG-4
  
  Format profile                           : Base Media
  
  Internet media type                      : video/mp4
  
  Codec ID                                 : isom
  
  Codec ID                                 : isom (isom/iso2/avc1/mp41)
  
  Codec ID/Url                             : http://www.apple.com/quicktime/download/standalone.html
  
  CodecID_Compatible                       : isom/iso2/avc1/mp41
  
  Codec                                    : MPEG-4
  
  Codec                                    : MPEG-4
  
  Codec/Extensions usually used            : mov mp4 m4v m4a m4b m4p 3ga 3gpa 3gpp 3gp 3gpp2 3g2 k3g jpm jpx mqv ismv isma ismt f4a f4b f4v
  
  File size                                : 52664272
  
  File size                                : 50.2 MiB
  
  File size                                : 50 MiB
  
  File size                                : 50 MiB
  
  File size                                : 50.2 MiB
  
  File size                                : 50.22 MiB
  
  Duration                                 : 79744
  
  Duration                                 : 1 min 19 s
  
  Duration                                 : 1 min 19 s 744 ms
  
  Duration                                 : 1 min 19 s
  
  Duration                                 : 00:01:19.744
  
  Duration                                 : 00:01:19:20
  
  Duration                                 : 00:01:19.744 (00:01:19:20)
  
  Overall bit rate                         : 5283334
  
  Overall bit rate                         : 5 283 kb/s
  
  Frame rate                               : 30.000
  
  Frame rate                               : 30.000 FPS
  
  Frame count                              : 2390
  
  Stream size                              : 88780
  
  Stream size                              : 86.7 KiB (0%)
  
  Stream size                              : 87 KiB
  
  Stream size                              : 87 KiB
  
  Stream size                              : 86.7 KiB
  
  Stream size                              : 86.70 KiB
  
  Stream size                              : 86.7 KiB (0%)
  
  Proportion of this stream                : 0.00169
  
  HeaderSize                               : 40
  
  DataSize                                 : 52575500
  
  FooterSize                               : 88732
  
  IsStreamable                             : No
  
  File last modification date              : UTC 2020-02-12 14:05:37
  
  File last modification date (local)      : 2020-02-12 15:05:37
  
  Writing application                      : Lavf57.83.100
  
  Writing application                      : Lavf57.83.100
  
  
  
  Video
  
  Count                                    : 342
  
  Count of stream of this kind             : 1
  
  Kind of stream                           : Video
  
  Kind of stream                           : Video
  
  Stream identifier                        : 0
  
  StreamOrder                              : 0
  
  ID                                       : 1
  
  ID                                       : 1
  
  Format                                   : AVC
  
  Format/Info                              : Advanced Video Codec
  
  Format/Url                               : http://developers.videolan.org/x264.html
  
  Commercial name                          : AVC
  
  Format profile                           : High@L3.1
  
  Format settings                          : CABAC / 4 Ref Frames
  
  Format settings, CABAC                   : Yes
  
  Format settings, CABAC                   : Yes
  
  Format settings, ReFrames                : 4
  
  Format settings, ReFrames                : 4 frames
  
  Internet media type                      : video/H264
  
  Codec ID                                 : avc1
  
  Codec ID/Info                            : Advanced Video Coding
  
  Codec                                    : AVC
  
  Codec                                    : AVC
  
  Codec/Family                             : AVC
  
  Codec/Info                               : Advanced Video Codec
  
  Codec/Url                                : http://developers.videolan.org/x264.html
  
  Codec/CC                                 : avc1
  
  Codec profile                            : High@L3.1
  
  Codec settings                           : CABAC / 4 Ref Frames
  
  Codec settings, CABAC                    : Yes
  
  Codec_Settings_RefFrames                 : 4
  
  Duration                                 : 79667
  
  Duration                                 : 1 min 19 s
  
  Duration                                 : 1 min 19 s 667 ms
  
  Duration                                 : 1 min 19 s
  
  Duration                                 : 00:01:19.667
  
  Duration                                 : 00:01:19:20
  
  Duration                                 : 00:01:19.667 (00:01:19:20)
  
  Bit rate                                 : 5000000
  
  Bit rate                                 : 5 000 kb/s
  
  Width                                    : 1280
  
  Width                                    : 1 280 pixels
  
  Height                                   : 720
  
  Height                                   : 720 pixels
  
  Sampled_Width                            : 1280
  
  Sampled_Height                           : 720
  
  Pixel aspect ratio                       : 1.000
  
  Display aspect ratio                     : 1.778
  
  Display aspect ratio                     : 16:9
  
  Rotation                                 : 0.000
  
  Frame rate mode                          : CFR
  
  Frame rate mode                          : Constant
  
  FrameRate_Mode_Original                  : VFR
  
  Frame rate                               : 30.000
  
  Frame rate                               : 30.000 FPS
  
  Frame count                              : 2390
  
  Resolution                               : 8
  
  Resolution                               : 8 bits
  
  Colorimetry                              : 4:2:0
  
  Color space                              : YUV
  
  Chroma subsampling                       : 4:2:0
  
  Chroma subsampling                       : 4:2:0
  
  Bit depth                                : 8
  
  Bit depth                                : 8 bits
  
  Scan type                                : Progressive
  
  Scan type                                : Progressive
  
  Interlacement                            : PPF
  
  Interlacement                            : Progressive
  
  Bits/(Pixel*Frame)                       : 0.181
  
  Stream size                              : 51297022
  
  Stream size                              : 48.9 MiB (97%)
  
  Stream size                              : 49 MiB
  
  Stream size                              : 49 MiB
  
  Stream size                              : 48.9 MiB
  
  Stream size                              : 48.92 MiB
  
  Stream size                              : 48.9 MiB (97%)
  
  Proportion of this stream                : 0.97404
  
  Writing library                          : x264 - core 152 r2854 e9a5903
  
  Writing library                          : x264 core 152 r2854 e9a5903
  
  Encoded_Library_Name                     : x264
  
  Encoded_Library_Version                  : core 152 r2854 e9a5903
  
  Encoding settings                        : cabac=1 / ref=3 / deblock=1:0:0 / analyse=0x3:0x113 / me=hex / subme=7 / psy=1 / psy_rd=1.00:0.00 / mixed_ref=1 / me_range=16 / chroma_me=1 / trellis=1 / 8x8dct=1 / cqm=0 / deadzone=21,11 / fast_pskip=1 / chroma_qp_offset=-2 / threads=12 / lookahead_threads=2 / sliced_threads=0 / nr=0 / decimate=1 / interlaced=0 / bluray_compat=0 / constrained_intra=0 / bframes=3 / b_pyramid=2 / b_adapt=1 / b_bias=0 / direct=1 / weightb=1 / open_gop=0 / weightp=2 / keyint=250 / keyint_min=25 / scenecut=40 / intra_refresh=0 / rc_lookahead=40 / rc=abr / mbtree=1 / bitrate=5000 / ratetol=1.0 / qcomp=0.60 / qpmin=0 / qpmax=69 / qpstep=4 / ip_ratio=1.40 / aq=1:1.00
  
  Language                                 : en
  
  Language                                 : English
  
  Language                                 : English
  
  Language                                 : en
  
  Language                                 : eng
  
  Language                                 : en
  
  
  
  Audio
  
  Count                                    : 275
  
  Count of stream of this kind             : 1
  
  Kind of stream                           : Audio
  
  Kind of stream                           : Audio
  
  Stream identifier                        : 0
  
  StreamOrder                              : 1
  
  ID                                       : 2
  
  ID                                       : 2
  
  Format                                   : AAC
  
  Format/Info                              : Advanced Audio Codec
  
  Commercial name                          : AAC
  
  Format profile                           : LC
  
  Format settings, SBR                     : No (Explicit)
  
  Format settings, SBR                     : No (Explicit)
  
  Codec ID                                 : mp4a-40-2
  
  Codec                                    : AAC LC
  
  Codec                                    : AAC LC
  
  Codec/Family                             : AAC
  
  Codec/CC                                 : 40
  
  Duration                                 : 79744
  
  Duration                                 : 1 min 19 s
  
  Duration                                 : 1 min 19 s 744 ms
  
  Duration                                 : 1 min 19 s
  
  Duration                                 : 00:01:19.744
  
  Duration                                 : 00:01:19:25
  
  Duration                                 : 00:01:19.744 (00:01:19:25)
  
  Bit rate mode                            : CBR
  
  Bit rate mode                            : Constant
  
  Bit rate                                 : 128257
  
  Bit rate                                 : 128 kb/s
  
  Channel(s)                               : 2
  
  Channel(s)                               : 2 channels
  
  Channel positions                        : Front: L R
  
  Channel positions                        : 2/0/0
  
  ChannelLayout                            : L R
  
  Samples per frame                        : 1024
  
  Sampling rate                            : 48000
  
  Sampling rate                            : 48.0 kHz
  
  Samples count                            : 3827712
  
  Frame rate                               : 46.875
  
  Frame rate                               : 46.875 FPS (1024 SPF)
  
  Frame count                              : 3738
  
  Compression mode                         : Lossy
  
  Compression mode                         : Lossy
  
  Stream size                              : 1278470
  
  Stream size                              : 1.22 MiB (2%)
  
  Stream size                              : 1 MiB
  
  Stream size                              : 1.2 MiB
  
  Stream size                              : 1.22 MiB
  
  Stream size                              : 1.219 MiB
  
  Stream size                              : 1.22 MiB (2%)
  
  Proportion of this stream                : 0.02428
  
  Language                                 : en
  
  Language                                 : English
  
  Language                                 : English
  
  Language                                 : en
  
  Language                                 : eng
  
  Language                                 : en
  
  Default                                  : Yes
  
  Default                                  : Yes
  
  Alternate group                          : 1
  
  Alternate group                          : 1

  Edit : Guess Ill add my PHP code too (This is chopped in a sensible manner because the actual file is very large) :

  // Set up Codebird
  
  \Codebird\Codebird::setConsumerKey($consumer_key, $consumer_secret); // static, see README
  
  
  
  $cb = \Codebird\Codebird::getInstance();
  
  
  
  $cb->setToken($token, $token_secret);
  
  $cb->setTimeout(60 * 1000); // 60 second request timeout
  
  
  
    $video = new Video($path);
  
  
  
      // Convert to the parameter required by twitter.
  
      $converted = $video->convert();
  
  
  
      $path = realpath('videos/' . $converted);
  
  
  
      $file = fopen($path, 'rb');
  
  
  
      $size = fstat($file)['size'];
  
      $mime_type = mime_content_type($path);
  
  
  
      $media = $cb->media_upload([
  
        'command' => 'INIT',
  
        'media_type' => $mime_type,
  
      'media_category' => 'tweet_video',
  
        'total_bytes' => $size,
  
      ]);
  
  
  
  $success = $media->httpstatus >= 200 && $media->httpstatus < 300; # 2xx
  
  
  
    if (!$success) {
  
      throw new TwitterException("Failed to INIT upload for $path...");
  
    }
  
  
  
  
  
    // APPEND chunks to upload.
  
    $mediaId = $media->media_id_string;
  
    $segmentId = 0;
  
  
  
    while (!feof($file)) {
  
      echo "chunk #$segmentId....";
  
  
  
      $chunk = fread($file, 512 * 1024); // caps out at 512 MB
  
  
  
      echo "chunk size: ". strlen($chunk);
  
  
  
      $media = $cb->media_upload([
  
        'command' => 'APPEND',
  
        'media_id' => $mediaId,
  
        'segment_index' => $segmentId,
  
        'media' => $chunk,
  
      ]);
  
  
  
      $success = $media->httpstatus >= 200 && $media->httpstatus < 300; # 2xx
  
  
  
      if (!$success) {
  
        throw new TwitterException("Failed to APPEND to upload for $path, chunk $segmentId...");
  
      }
  
  
  
      $segmentId++;
  
    }
  
    // Close file and FINALIZE upload.
  
    fclose($file);
  
  
  
  echo "FINALIZING id $mediaId...";
  
    $media = $cb->media_upload([
  
        'command' => 'FINALIZE',
  
        'media_id' => $mediaId,
  
    ]);
  
  
  
    $success = $media->httpstatus >= 200 && $media->httpstatus < 300; # 2xx
  
  
  
    if (!$success) {
  
      var_dump($media);
  
      throw new TwitterException("Failed to FINALIZE upload for $path...");
  
    }
  
  
  
    return $mediaId;

  Video is my ffmpeg class, which I’ll paste below, and $path is a URL leading to a perfectly valid mp4 video.

  Video.php :

  <?php
  
  
  
  class VideoConversionException extends \Exception {}
  
  
  
  class Video {
  
    public $name;
  
    public $converted;
  
  
  
  
  
    public function __construct($name) {
  
      self::clear();
  
  
  
      $this->name = $name;
  
    }
  
  
  
  
  
    public function convert() {
  
      $tmpVideo = 'video-' . uniqid() . uniqid() . '.mp4';
  
      $videoPath = 'videos/' . $tmpVideo;
  
  
  
      //$ffmpeg = "ffmpeg -i https://tvcanarias.acfipress.com/BC_190907_gc_teror.mp4  -vf "scale=1280:720" -b:v 5000K -b:a 128K -r 30 -f mp4 -vcodec libx264 -acodec aac output_video.mp4";
  
      $ffmpeg = "ffmpeg -i {$this->name}  -vf \"scale=1280:720\" -b:v 5000K -minrate 5000K -maxrate 5000K -b:a 128K -r 30 -f mp4 -vcodec libx264 -profile:v high -pix_fmt yuv420p -strict -2  -ac 2 -acodec aac $videoPath";
  
      //$ffmpeg = "ffmpeg -i {$this->name} -pix_fmt yuv420p -vcodec libx264 -vf scale=640:-1 -acodec aac -vb 1024k -minrate 1024k -maxrate 1024k -bufsize 1024k -ar 44100  -ac 2  -strict experimental -r 30 $videoPath";
  
      $output = [];
  
      exec($ffmpeg, $output, $status);
  
  
  
      if ($status != 0) {
  
        //die("Couldnt run ffmpeg. (Error code: #$status)");
  
        throw new VideoConversionException("Couldn't run ffmpeg. (Error code: #$status)");
  
      }
  
  
  
      $this->converted = $tmpVideo;
  
      return $tmpVideo;
  
    }
  
  
  
    public function shredConverted() {
  
      // delete video.
  
      @unlink("videos/{$this->$converted}");
  
    }
  
  
  
    public static function clear() {
  
      // We can't really shred videos right away as they might be still uploading.
  
      // Therefore, every time this library is used, we will just delete videos older
  
      // than, say, an hour.
  
  
  
      $files = scandir('videos');
  
  
  
      $curtime = time();
  
  
  
      foreach ($files as $file) {
  
        if ($file == '.gitignore' || $file == '.' || $file == '..') {
  
          continue;
  
        }
  
  
  
        $mtime = filemtime("videos/$file");
  
  
  
        $diff = $curtime - $mtime;
  
        $overAnHour = $diff > (60 * 60);
  
  
  
        if ($overAnHour) {
  
          @unlink("videos/$file");
  
        }
  
      }
  
    }
  
  }