Recherche avancée

Sur d’autres sites (5331)

• Anomalie #3675 : fsockopen => lenteur dans inc/queue

  7 février 2016, par Nicolas RICQUEMAQUE

  Il semble tout d’abord que les problèmes rapportés d’extrême lenteur de la fonction fsockopen semblent être communs sur Internet. Voir par exemple le post qui propose des solutions : http://stackoverflow.com/questions/5211658/php-fsockopen-painfully-slow ; notamment la résolution dns directe ne semble pas très efficace, mais la solution proposée, via un gethostbyname(), ne fonctionnera pas en tls (qui vérifie la cohérence du certificat publique avec l’url à connecter).

  En réfléchissant un peu, outre les différentes possibilités de mitigation des problèmes évoqués quant aux limitations de la fonction fsockopen ailleurs sur Internet, il semble que l’on est ici en face, de façon plus générale, d’une "fausse bonne idée". A savoir, la création d’une tâche asynchrone via l’ouverture d’une nouvelle connexion http sur le même serveur. Après 15 ans de travail dans les infrastructures télécom, je vois difficilement comment cela peut fonctionner à tous les coups. Une telle requête, effectuée du serveur vers lui-même en utilisant l’adresse IP récupérée dans un DNS va fonctionner très différemment en fonction de la structure technique du réseau de l’hébergeur. Où sont terminées les adresses publiques ? Le Firewall autorise-t-il la réentrance ? le DNS résout il différemment sur son réseau interne par rapport au réseau publique ? Comment est configuré et où se trouve le load-balancer ? La machine est elle une machine physique (mutualisée ou non) ou plutôt une machine virtuelle avec le NAT ou du bridging interne sur l’hôte ? Tout ceci va influer sur le fait que le fsockopen (ou curl) va fonctionner ou non. Il y a des bonnes pratiques dans l’industrie, mais à aucun moment vous pouvez être sûr, qu’un logiciel comme SPIP qui doit tenter de s’adapter partout, va fonctionner partout. Et le cURL n’est pas beaucoup plus rustique en la matière (un peu plus tout de même, c’est un appel unix hors php, les auteurs de cURL ont bien blindé leur code, mais je ne m’y fierai pas à 100%).

  Le problème est donc, que parfois, en fonction de l’hébergeur, tout simplement, comme l’indique bien le commentaire dans le code existant de queue.php, "cela ne va par marcher".
  Mais qu’est ce qui se passe quand cela ne fonctionne pas, et pourquoi cela ralenti autant l’affichage des pages web ?
  - Si !function_exists(’fsockopen’) et !function_exists("curl_init"), alors c’est simple, on va appliquer l’astuce de l’image-background
  - Si les fonctions existent bien, mais que "quelque chose" dans l’infrastructure "bloque" la connexion. Il y a 2 façons de bloquer. Un load balancer, un serveur, ou un routeur renverront probablement un TCP/RST immédiatement, fermant donc la connexion TCP, et 5 ms après on sort vers l’image background. Y’a pas de dégats.
  - Si les fonctions existent bien, et que c’est un "firewall" qui ne laisse pas passer, il ne va rien répondre du tout, c’est à dire laisser tomber la connexion en timeout, qui est ici de 1s (très très très long pour un appel vers sois-même ! c’est un premier bug, il ne faudrait pas dépasser 20ms maximum). Donc, Curl ou fsockopen, l’utilisateur, dans l’affichage de la page, va perdre une première seconde. Pourquoi première ? parce que le code de la fonction semble être pouvoir être appelé plusieurs fois (commentaire dans le code "ne pas relancer si on vient de lancer dans la meme seconde par un hit concurent") et que le fichier est locké avant l’appel à fsockopen ou à curl, dès la sortie de la fonction, après un timeout de 1s de fsockopen par exemple, on aura déjà expiré le lock. Donc on peut probablement se retrouver dans un cas ou la fonction (qui échoue à chaque fois via un timeout de 1s) est appelée plusieurs fois de suite. Bofff ;-). Il faut donc décorréler cette valeur de check du lock avec le timeout de durée des appels réseaux au moins d’un facteur 10 pour éviter les effets d’avalanche...

  Conclusion : les appels asynchrones sont une très bonne idée en théorie, mais en pratique, je pense qu’ils risquent d’amener plus de problèmes que de solutions. Et cela semble se vérifier en regard des nombreux utilisateurs qui semblent avoir le problème sur le réseau, ou décident finalement de rester sur la 2.1, ou de changer de crémerie (hébergeur ou CMS). Pour les moins chanceux, de se contenter d’un site qui est devenu irresponsif...

  Il est possible à mon avis toutefois de conserver intelligemment cette technique quand elle est applicable. Pourquoi réessayer et se remplanter d’une seconde comme les shadoks sur chaque page ? Si un hébergeur ne fonctionne pas, cela ne va pas fonctionner à tous les coups. Tout du moins jusqu’à ce qu’il change son infra ou le client déménage ailleurs. Je proposerai donc une approche "hybride", mais simple, en détectant d’un côté la bonne méthode à utiliser, et en l’appliqant simplement dans queue.php :
  - Sur le site "privé", exécutée par exemple une fois par session d’un rédacteur, par appel asynchrone via une background image (pour ne pas ralentir le rédacteur), une fonction toute simple qui essaie de se connecter sur l’url cron, successivement avec les différentes méthodes (fsockopen, curl, pourquoi pas fopen directement qui accepte aussi les urls..., et 36 nouvelles méthodes qui apparaitront à l’avenir). Cette fonction détermine la méthode la plus rapide (qui pourrait très bien être fsockopen sur beaucoup d’hébergeurs !) par simple comparaison et stocke ce résultat dans une variable quelque part dans le site. Elle peut aussi déterminer que même si cela marche, les délais introduits (>100ms par exemple) ne justifient pas se passer de la technique de l’image background.
  - quand le code de queue.php, on "n’essaie pas des méthodes jusqu’à en trouver une qui fonctionne en perdant du temps sur le dos du client", mais on utilise la méthode récupérée dans la variable avec un switch par exemple, et on est sûr d’utiliser la meilleure méthode :-) et la meilleure !

• How to handle queueing of video encoding during multiple video uploads ?

  6 mars 2016, par Yash Desai

  I am working on developing a video streaming site where users can upload videos to the site (multiple videos at once using the uploadify jquery plugin).

  Now, I am faced with the question of encoding the videos to FLV for streaming them online.

  When should the video encoding process take place ? Should it take place immediately after uploads have finished (i.e redirect the user to upload success page, and then start encoding in the background using exec command for ffmpeg ?) However, using this approach, how do i determine if the encoding has finished successfully ? What if users upload a corrupt video and ffmpeg fails to encode it ? How do i handle this in PHP ?

  How do i queue encoding of videos since multiple users can upload videos at the same ? Does FFMpeg has its own encoding queue ?

  I also read about gearman and message queueing options such as redis and AMQP in another related SO thread. Are these one of the potential solutions ?

  I would really appreciate if someone could give answers to my questions.

• Converting cv::Mat image from BGR to YUV using ffmpeg

  10 mars 2016, par bot1131357

  I am trying to convert BGR image into YUV420P, but when I try to view each of the YUV planes separately, this is what I see.

  Shouldn’t cv::Mat::data and AVFrame::data[0] be packed in the same way ? I should be able to do a direct memcpy. Am I missing something ?

  Any ideas ?

  Mat frame;
  
  VideoCapture cap;
  
  if(!cap.open(0)){
  
      return 0;
  
  }
  
  
  
  // capture a frame
  
  cap >> frame;
  
  if( frame.empty() ) return 0;
  
  
  
  cv::Size s = frame.size();
  
  int height = s.height;
  
  int width = s.width;
  
  
  
  // Creating two frames for conversion
  
  AVFrame *pFrameYUV =av_frame_alloc();
  
  AVFrame *pFrameBGR =av_frame_alloc();
  
  
  
  // Determine required buffer size and allocate buffer for YUV frame 
  
  int numBytesYUV=av_image_get_buffer_size(AV_PIX_FMT_YUV420P, width,
  
                  height,1);          
  
  
  
  // Assign image buffers
  
  avpicture_fill((AVPicture *)pFrameBGR, frame.data,      AV_PIX_FMT_BGR24,
  
      width, height);
  
  
  
  uint8_t* bufferYUV=(uint8_t *)av_malloc(numBytesYUV*sizeof(uint8_t));
  
  avpicture_fill((AVPicture *)pFrameYUV, bufferYUV, AV_PIX_FMT_YUV420P,
  
          width, height);
  
  
  
  // Initialise Software scaling context
  
  struct SwsContext *sws_ctx = sws_getContext(width,
  
      height,
  
      AV_PIX_FMT_BGR24,
  
      width,
  
      height,
  
      AV_PIX_FMT_YUV420P,
  
      SWS_BILINEAR,
  
      NULL,
  
      NULL,
  
      NULL
  
      );
  
  
  
  // Convert the image from its BGR to YUV
  
  sws_scale(sws_ctx, (uint8_t const * const *)pFrameBGR->data,
  
        pFrameYUV->linesize, 0, height,
  
        pFrameYUV->data, pFrameYUV->linesize);
  
  
  
  
  
  
  
  // Trying to see the different planes of YUV
  
  Mat MY = Mat(height, width, CV_8UC1);
  
  memcpy(MY.data,pFrameYUV->data[0], height*width);
  
    imshow("Test1", MY); // fail
  
  Mat MU = Mat(height/2, width/2, CV_8UC1);
  
  memcpy(MU.data,pFrameYUV->data[1], height*width/4);
  
    imshow("Test2", MU); // fail
  
  Mat MV = Mat(height/2, width/2, CV_8UC1);
  
  memcpy(MV.data,pFrameYUV->data[2], height*width/4);
  
    imshow("Test3", MV); // fail  
  
  
  
  waitKey(0); // Wait for a keystroke in the window