Récemment j’ai voulu créer une petite application mobile qui permet de rechercher les boîtes aux lettres qui sont autour de la géolocalisation utilisateur. D’autres apps existent, mais leurs performances n’étaient pas vraiment au rendez-vous, alors j’ai voulu tenter de trouver des solutions!
Pour commencer, j’ai réussi à récupérer un jeu de donnée sur le site <a href="http://data.gouv.fr/">data.gouv.fr</a> : <a href="https://www.data.gouv.fr/fr/datasets/liste-des-boites-aux-lettres-de-rue-france-metropolitaine-et-dom-avec-heure-limite-de-depot-1/">https://www.data.gouv.fr/fr/datasets/liste-des-boites-aux-lettres-de-rue-france-metropolitaine-et-dom-avec-heure-limite-de-depot-1/</a> . Ce jeu de données comporte 140 000 entrées, bien sûr l’utilisateur qui va vouloir afficher les boîtes aux lettres proches de lui, n’aura pas besoin d’afficher toutes les boîtes disponibles dans la base de données, mais seulement celles proches de lui, par exemple 10km.
Pour mon projet j’utilise une API SpringBoot, mais ce n’est pas ce qui va vous intéresser aujourd’hui. Le vrai problème c’est comment récupérer l’ensemble des données, stockées dans une base de données PostgreSQL, qui sont géolocalisées proche d’un point dans un temps convenable!
<h2>L’objectif</h2>
Mon objectif est donc de trouver un ensemble de points qui se trouvent dans un rayon de 10km, en un temps record!
<img src="/static/images/post/postgres-geoloc-optim.png" alt="Objectif de la requete">
<h2>PostGIS à la rescousse</h2>
PostGIS est une extension de PostgreSQL, elle permet d’offrir de nouvelle fonction et des types de données qui facilitent les recherches géolocalisées.
Pour installer PostGIS sur son serveur :
<div class="remark-highlight"><pre class="language-bash"><code class="language-bash">~$ sudo apt install postgis
</code></pre></div>
Il faut ensuite l’activer dans PosgresSQL, en se connectant à la base de données et en ajoutant l’extension postgis. Elle sera donc active uniquement dans la base de données sélectionnée.
<div class="remark-highlight"><pre class="language-sql"><code class="language-sql">psql (13.6 (Ubuntu 13.6-0ubuntu0.21.10.1))
Type "help" for help.

postgres=# \c test;
postgres=# CREATE EXTENSION postgis;
</code></pre></div>
Nous pouvons maintenant créer une table qui contient un id, une latitude, une longitude ainsi qu’un point GPS. La valeur du SRID 4326 permet de déclarer un point utilisant le système de référence spatiale géographique.
<div class="remark-highlight"><pre class="language-sql"><code class="language-sql">CREATE TABLE public.test (
 id bigserial NOT NULL,
 lat real NOT NULL,
 long real NOT NULL,
 location geography(Point, 4326) NOT NULL
);
</code></pre></div>
On peut alors facilement ajouter un point en utilisant la requête suivante :
<div class="remark-highlight"><pre class="language-sql"><code class="language-sql">INSERT INTO test (lat, long, location)
VALUES (49.548462,1.0779799,ST_SetSRID(ST_MakePoint(49.548462,1.0779799), 4326));
</code></pre></div>
<h2>Optimisation</h2>
Pour valider mon optimisation, j’ai ajouté à ma table 140 000 lignes de données géolocalisées.
Bêtement j’ai voulu rechercher tous les points qui se trouvaient dans un rayon de moins de 10km avec la fonction st_distancesphere.
Voici la requête que j’exécute pour récupérer tous les points GPS dans un rayon de 10km :
<div class="remark-highlight"><pre class="language-sql"><code class="language-sql">EXPLAIN(ANALYSE , BUFFERS )
SELECT st_distancesphere(t.location::geometry,ST_SetSRID(ST_MakePoint(49.548462,1.0779799), 4326))
FROM test t
WHERE
st_distancesphere(t.location::geometry,ST_SetSRID(ST_MakePoint(49.548462,1.0779799), 4326)) &#x3C; 10000;
</code></pre></div>
L’analyser de requête de PostgeSQL montre bien qu’aucun index n’est utilisé et que la requête prend 463ms pour renvoyer 21 points qui correspondes aux conditions.
<div class="remark-highlight"><pre class="language-sql"><code class="language-sql">Gather (cost=1000.00..2776968.00 rows=47062 width=8) (actual time=160.851..461.391 rows=115 loops=1)
 Workers Planned: 1
 Workers Launched: 1
 Buffers: shared hit=1759
 -> Parallel Seq Scan on test t (cost=0.00..2771261.80 rows=27684 width=8) (actual time=218.887..415.046 rows=58 loops=2)
" Filter: (st_distance(geography((location)::geometry), '0101000020E6100000A48CB80034C64840F5EC03DA673FF13F'::geography, false) &#x3C; '10000'::double precision)"
 Rows Removed by Filter: 70535
 Buffers: shared hit=1759
Planning Time: 0.376 ms
JIT:
 Functions: 8
" Options: Inlining true, Optimization true, Expressions true, Deforming true"
" Timing: Generation 2.485 ms, Inlining 178.841 ms, Optimization 117.797 ms, Emission 56.983 ms, Total 356.106 ms"
Execution Time: 463.431 ms
</code></pre></div>
Nous allons donc créer un index qui va permettre d’accélérer la requête (voir la doc <a href="http://postgis.net/workshops/postgis-intro/indexing.html">http://postgis.net/workshops/postgis-intro/indexing.html</a>):
<div class="remark-highlight"><pre class="language-sql"><code class="language-sql">CREATE INDEX test_position_geography_index ON test USING GIST(geography(location));
</code></pre></div>
Mais nous allons avoir une mauvaise surprise, car l’index ne fonctionne toujours pas. Après une recherche rapide, je me suis aperçu qu’il n’y a que certaines fonctions de PostGIS qui peuvent utiliser l’indexation (voir la doc ici : <a href="http://postgis.net/workshops/postgis-intro/indexing.html#spatially-indexed-functions">http://postgis.net/workshops/postgis-intro/indexing.html#spatially-indexed-functions</a>).
Je décide donc d’utiliser la fonction ST_DWithin qui renvoie un vrai si deux points se trouvent bien à la distance passée dans le 3e paramètre.
Voici donc la requête suivie de l’analyse :
<div class="remark-highlight"><pre class="language-sql"><code class="language-sql">EXPLAIN(ANALYSE , BUFFERS )
SELECT st_distancesphere(t.location::geometry,ST_SetSRID(ST_MakePoint(49.548462,1.0779799), 4326))
FROM test t
WHERE
 ST_DWithin(t.location, ST_SetSRID(ST_MakePoint(49.548462,1.0779799), 4326)::geography, 10000);
</code></pre></div>
<div class="remark-highlight"><pre class="language-sql"><code class="language-sql">Bitmap Heap Scan on test t (cost=4.95..2390.34 rows=14 width=8) (actual time=1.212..2.205 rows=115 loops=1)
" Filter: st_dwithin(location, '0101000020E6100000A48CB80034C64840F5EC03DA673FF13F'::geography, '10000'::double precision, true)"
 Rows Removed by Filter: 200
 Heap Blocks: exact=150
 Buffers: shared hit=188
 -> Bitmap Index Scan on test_position_geography_index (cost=0.00..4.95 rows=72 width=0) (actual time=0.288..0.288 rows=315 loops=1)
" Index Cond: (location &#x26;&#x26; _st_expand('0101000020E6100000A48CB80034C64840F5EC03DA673FF13F'::geography, '10000'::double precision))"
 Buffers: shared hit=26
Planning Time: 0.446 ms
Execution Time: 2.288 ms
</code></pre></div>
On voit bien que l’index test_position_geography_index est utilisé et qu’il permet de récupérer les 21 points en 2.288ms 🤯. ****Le gain est énorme, il permet de réduire considérablement le temps d’exécution et le temps d’utilisation processeur.
<h2>Bilan</h2>
Dans mon API de géolocalisation de boîtes aux lettres, cela m’a permis de diviser par 10 le temps de requête et de soulager le serveur lorsque je simulais une charge serveur avec l’outil de tests de performance d’Apache ab (<a href="https://httpd.apache.org/docs/2.4/fr/programs/ab.html">https://httpd.apache.org/docs/2.4/fr/programs/ab.html</a>).

Récemment j’ai voulu créer une petite application mobile qui permet de rechercher les boîtes aux lettres qui sont autour de la géolocalisation utilisateur. D’autres apps existent, mais leurs performances n’étaient pas vraiment au rendez-vous, alors j’ai voulu tenter de trouver des solutions

PostgreSQL - Comment booster ses recherches de point géolocalisé

À chaque fois que j’ai développé une API, je me suis confronté au même problème : comment filtrer les données

SpringBoot -  Contextualiser la serialisation

J'ai récemment commencé à travailler sur un système de caméras de surveillance et je souhaite pouvoir afficher les vidéos collectées sur des pages Web.
À première vue, cela semblait très facile, mais je me suis vite rendu compte que je devais me creuser la tête!
<h1>Comment cela doit fonctionner?</h1>
La caméra est connectée à un NVR (Numeric Video recorder) qui possède une API permettant de récupérer les informations de configuration et le flux vidéo. En cherchant un peu sur le Web (Oui la documentation est difficile d'accès..), je découvre que le protocole de communication utilisé par le NVR est le RTSP (Real-Time Streaming Protocol). C'est là que je rencontre le principal problème ! Comment utiliser ce protocole dans une page HTML qui ne le supporte pas ? Ma solution est d'utiliser un serveur qui permet de transcoder la vidéo dans un format plus connu (MP4) et un protocole ultra standard (Http). Cela me permettra également de cacher les identifiants d'accès à la caméra en utilisant mon serveur comme un proxy.
<img src="https://giboow.fr/static/images/post/proxy-transcoder-ffmpeg/graph-ffmpeg-transcoder.png" alt="Graph it should work">
<h1>Alors comment on fait ça?</h1>
Un excellent outil bien connu pour faire de la conversion vidéo est <a href="https://www.ffmpeg.org/">FFMPeg</a>, donc je commence à regarder comment je peux l'utiliser pour convertir RSTP. Je trouve rapidement une ligne de commande qui fonctionne :
<div class="remark-highlight"><pre class="language-bash"><code class="language-bash">ffmpeg -y -loglevel level+info -n -re -acodec pcm_s16le -rtsp_transport tcp -i rtsp://user:passwd@192.168.1.200:554/ISAPI/Streaming/channels/101/live -vcodec copy -af asetrate=22050 -acodec aac -b:a 96k -nostdin myvideo.mp4
</code></pre></div>
Alors comment faire un proxy avec SpringBoot ? C'est très simple en fait, il suffit d'utiliser l'objet <a href="https://docs.spring.io/spring-framework/docs/current/javadoc-api/org/springframework/web/servlet/mvc/method/annotation/StreamingResponseBody.html">StreamingResponseBody</a>. Cela permet de renvoyer un traitement asynchrone de la requête, où l'application peut écrire directement sur le flux de sortie de la réponse sans bloquer le reste de mon API.
Enfin, il me suffit d'utiliser FFMPEG dans mon contrôleur pour envoyer le flux via mon API. J'aurais pu utiliser " Runtime.getRuntime().exec(" ffmpeg...) " mais je n'arrivais pas à trouver comment obtenir mon flux. Heureusement, j'ai trouvé une bibliothèque magique <a href="https://github.com/kokorin/Jaffree">Jaffree</a> : "Jaffree stands for JAva FFmpeg and FFprobe FREE command line wrapper. Jaffree supports programmatic video production and consumption (with transparency)"
<h1>La solution</h1>
Voici la solution finale et comment relayer un flux vidéo provenant d'une caméra HikVision afin que le format soit utilisable par une page HTML.
<div class="remark-highlight"><pre class="language-java"><code class="language-java">import com.github.kokorin.jaffree.StreamType;
import com.github.kokorin.jaffree.ffmpeg.FFmpeg;
import com.github.kokorin.jaffree.ffmpeg.PipeOutput;

@RestController
@RequestMapping("/video")
@Log4j2
public class VideoController {
 @GetMapping(value = "/live.mp4")
 @ResponseBody
 public ResponseEntity&#x3C;StreamingResponseBody> livestream(@PathVariable("id") Long tipperId) throws Exception {

 String rtspUrl = "rtsp://user:passwd@192.168.1.200:554/ISAPI/Streaming/channels/101/live";

 return ResponseEntity.ok()
 .contentType(MediaType.APPLICATION_OCTET_STREAM)
 .body(os -> {
 FFmpeg.atPath()
 .addArgument("-re")
 .addArguments("-acodec", "pcm_s16le")
 .addArguments("-rtsp_transport", "tcp")
 .addArguments("-i", $rtspUrl)
 .addArguments("-vcodec", "copy")
 .addArguments("-af", "asetrate=22050")
 .addArguments("-acodec", "aac")
 .addArguments("-b:a", "96k" )
 .addOutput(PipeOutput.pumpTo(os)
 .disableStream(StreamType.AUDIO)
 .disableStream(StreamType.SUBTITLE)
 .disableStream(StreamType.DATA)
 .setFrameCount(StreamType.VIDEO, 100L)
 //1 frame every 10 seconds
 .setFrameRate(0.1)
 .setDuration(1, TimeUnit.HOURS)
 .setFormat("ismv"))
 .addArgument("-nostdin")
 .execute();
 });

 }
}
</code></pre></div>
Vous devrez également modifier la configuration de votre application SpringBoot (fichier application.properties) pour augmenter le délai d'attente pour les requêtes asynchrones.
<div class="remark-highlight"><pre class="language-html"><code class="language-html">spring.mvc.async.request-timeout = 3600000
</code></pre></div>
Il vous suffit d'appeler votre API sur la page web :
<div class="remark-highlight"><pre class="language-html"><code class="language-html">&#x3C;div class="video">
 &#x3C;video width="100%" height="auto" controls autoplay muted loop *ngIf="event?.video">
 &#x3C;source src="http://localhost:8080/video/live.mp4"
 type="video/mp4">
 Sorry, your browser doesn't support embedded videos.
 &#x3C;/video>
&#x3C;/div>
</code></pre></div>
Et voici le résultat :
<img src="https://giboow.fr/static/images/post/proxy-transcoder-ffmpeg/result-ffmpeg-transcoder.png" alt="Final result">
Facile non?
<a href="https://dev.to/giboow/how-to-build-a-video-transcoder-with-springboot-and-ffmpeg-n7p">Retrouvez l'article anglais sur dev.to</a>

J'ai récemment commencé à travailler sur un système de caméras de surveillance et je souhaite pouvoir afficher les vidéos collectées sur des pages Web. À première vue, cela semblait très facile...

Comment construire un transcodeur vidéo avec SpringBoot et FFMPEG !

Bonsoir à tous!
J'ai récemment craqué pour le nouveau MacBook Pro M1! Depuis 1 semaine que je l'apprivoise, toutes les applications
que j'utilise fonctionnent (merci Rosetta2!). Mon seul problème, en tant que developpeur mobile, est que l'Emulateur
Android ne fonctionne pas. C'est
d'ailleurs le problème de toutes les applications qui font de la virtualisation (Docker, ParallelDesktop, etc …)!
Je dois donc utiliser un téléphone physique, et cela m'empêche de tester mes applications sur différentes versions
d'Android.
Heureusement les ingénieurs de Google sont à fond sur le coup et ont mis à disposition une version Preview de
l'émulateur ici : <a href="https://androidstudio.googleblog.com/2020/12/android-emulator-apple-silicon-preview.html">https://androidstudio.googleblog.com/2020/12/android-emulator-apple-silicon-preview.html</a>
Et ça fonctionne :
<img src="/static/images/post/capture_android_emulator_preview.png" alt="Capture Android preview">
Pour autant tout n'est pas parfait :
<ul>
<li>Les Webview ne fonctionnent pas</li>
<li>Pas de son</li>
<li>Pas de skin téléphone</li>
<li>Les codecs vidéos ne sont pas fonctionnels</li>
<li>Les applications ARM 32Bits ne sont pas compatibles</li>
<li>Quelques bugs graphiques sur les applications utilisant l'API Vulkan</li>
<li>Une popup apparait au démarrage de l'émulateur, indiquant qu'elle ne trouve pas ADB</li>
</ul>
Tout est dit! Il ne reste plus qu'à tester 😃.
Amusez-vous bien!

J'ai récemment craqué pour le nouveau MacBook Pro M1! Depuis 1 semaine que je l'apprivoise, toutes les applications que j'utilise fonctionnent (merci Rosetta2!). Mon seul problème, en tant que developpeur mobile, est que l'Emulateur Android ne fonctionne pas

Android Emulator sur Apple Silicon, enfin une preview!

Récemment, j'ai dû mettre le nez dans les serveurs de notre application, car nous avions des problèmes de performances
et de stabilité.
Pour vous replanter le décor, l'application dont je m'occupe aujourd'hui est hébergé sur un serveur qui comprend un
service de base de données Postgres, un serveur d'application Java, ainsi que d'un serveur apache permettant aux
utilisateurs de télécharger le front. Tout ça fonctionne sur le même serveur sans conteneurs. N'ayant pas installé ces
services moi-même, j'ai dû passer un peu de temps pour comprendre pourquoi notre serveur plantait lors de fortes
charges... Puis je me suis aperçu grâce à notre système de monitoring que la mémoire du serveur Postgres n'était même
pas limitée...
Je n'ai aucune connaissance sur les configurations des services Postgres, et comme je n'aime pas trop perdre de temps à
éplucher les documentations, j'ai fouillé un peu sur la toile. C'est là que j'ai découvert le travail
de <a href="https://github.com/le0pard">Alexey Vasiliev (@leOpard)</a> qui propose un générateur de configuration
Postgres : <a href="https://pgtune.leopard.in.ua/#/">PGTune</a>
Il suffit de paramétrer votre configuration en fonction des ressources que vous voulez allouer sur le serveur! Et PAF ça
fait le ☕!
<img src="/static/images/post/capture-pgtune.png" alt="PGTune capture">
Il ne vous reste plus qu'à injecter cette nouvelle configuration dans le fichier de configuration de votre Postgres.
Depuis que j'ai appliqué la configuration par l'utilitaire, je n'ai plus de problème de performance. Finalement, les utilisateurs sont
contents, et moi aussi 😃.
Pour les fans de <a href="https://www.ruby-lang.org/fr/">Ruby</a>, où si cela vous amuse, vous pouvez aller consulter le code du
générateur de @leOpard, les sources sont disponibles sur
Github : <a href="https://github.com/le0pard/pgtune">https://github.com/le0pard/pgtune</a>

Présentation d'un outils qui permet de configurer simplement un serveur PostgreSQL

Comment bien configurer son serveur Postgres avec PGTune

Je m'appelle Philippe, j'ai 36 ans, j'ai une petite famille ainsi qu'un chat et deux poules!
Je suis développeur d'application depuis une bonne quinzaine d'années. Le développement et la technologie occupent donc
une bonne partie de mes journées !
J'ai toujours aimé la programmation et la logique qui en découle. J'ai commencé ma carrière au collège en 4e, lorsque
mon grand frère m'a offert une calculatrice Casio graphique, depuis ce jour là j'ai découvert les bases de la
programmation ! À 13 ans, nous avons reçu notre premier ordinateur, c'était un Apple Performa 6320, au bout d’un mois
nous avons démonté la bête avec mon frère pour voir comment cela fonctionnait !
J'ai ensuite continué mon évolution tranquillement avec des pages HTML statiques, des Apple script, etc...
Pendant mes
études j'ai beaucoup travaillé sur Linux j'ai donc une bonne connaissance de ce système et de son fonctionnement, je ne
suis cependant pas un expert (mais je me débrouille toujours 😃).
En 2009, j'ai commencé ma carrière professionnelle. J'ai toujours voulu naviguer sur différents projets, apprendre de
nouvelles choses. Je déteste le fait d'être considéré comme un expert dans une technologie précise. J'aime apprendre de
nouvelles choses, maitriser l'ensemble de mes projets, et de partager mes connaissances avec mes amis, mes collègues,
vous !
Sur ce blog conçut et réaliser avec ♥, je vais essayer de vous partager mon quotidien (du code, du code, du code!!),
mais aussi tout ce que je trouve intéressant sur la toile et relatif a mon métier (application, librairies, hardware,
news, etc.) !
Ce site va être aussi pour moi, un bon moyen pour (re)découvrir ReactJs ainsi que NextJs. J'ai en effet eu l'occasion de
manipuler ces deux frameworks, mais sans jamais proposer une version disponible publiquement.

Je m'appelle Philippe, j'ai 36 ans, j'ai une petite famille ainsi qu'un chat et deux poules! Je suis développeur d'application

Philippe Gibert

Derniers posts