Nouvelle application, la décision de partir sur Node.js est prise. L'application commence petite puis le nombre de features et de développeurs augmentent. Les 1ers refactoring cossus arrivent et ne se passent pas vraiment comme prévu pourtant nous avons 100% de coverage… Est ce lié au manque de typage de JS ? Est ce que TypeScript aurait évité ça ? Ou finalement est ce que c'est notre façon d'écrire notre code (et les tests) qu'il faut remettre en cause ? Après quelques refactoring et bugfix l'application part en prod. Les utilisateurs commencent à remonter quelques soucis, en regardant les logs on prend peur, très difficile de s'y retrouver… Venant du monde Java on est surpris par le manque de maturité des frameworks et librairies Node.js, notamment au niveau de la gestion des logs et des erreurs. Toutes ces (mes)aventures nous ont permis de prendre du recul sur le développement avec JS, nous vous proposons un retour d'expérience sur cette odyssée qui est toujours en cours.

1. Développer sereinement
• Gaëtan Maisse & Julien Giovaresco Snowcamp 2020
avec

2. Julien Gaëtan
@gaetanmaisse
TypeScript
Bière
@jgiovaresco
Java
Crossfit™
P.2

3. P.3

4. P.4

5. Overview
REST API
(25)
Management
interfaces
Store
Locators
(40+)
P.5

7. Décembre
2015
Début de la V3
P.7

8. Technos modernes
P.8

9. Technos modernes
Node.js
P.9

10. Technos modernes
Node.js(ES6)
P.10

11. Technos modernes
Node.js • MongoDB
P.11

12. Technos modernes
Node.js • MongoDB • Mongoose
P.12

13. Technos modernes
Node.js • MongoDB • Mongoose • Express
P.13

14. P.14
Qualité de code

15. P.15
Tests unitaires
Jasmine

16. P.16
Tests unitaires
100% couverture

17. P.17
Linter

18. P.18
Linter
ESLint

19. P.19
Revue de code

20. P.20
Revue de code
Pull Request

21. P.21
Revue de code
Pull Request • Code Owner

22. On met en prod ?
oui non
P.22

23. On met en prod ?
oui non
P.23

24. Avril
2016
Mise en production
(6 APIs)
Décembre
2015
Début de la V3
P.24

25. P.25

26. 1er bug
(6 APIs)
Décembre
2015
Début de la V3
P.26
Avril
2016
Mise en production
(6 APIs)

27. 1er bug
(6 APIs)
Décembre
2015
Début de la V3
P.27
Avril
2016
Mise en production
(6 APIs)
Avril
2016

28. P.28

29. P.29

30. P.30
Logging
Winston • JSON

31. P.31
Logging
Asynchrone • Mono thread

32. • Passer les attributs dans chaque méthode 
• Async Hooks API (experimental) 
• ¯_(ツ)_/¯
P.32
Comment ajouter des attributs à tous les
logs ?

33. Logging
• Identification des éléments qui peuvent aider au debug (différents identifiants….)
• Convention pour les nommer de la même façon
• Librairie interne
- Partage de la configuration du Logger à tous nos projets
- Outillage permettant de respecter les conventions
P.33

34. 1er refactoring
(8 APIs)
Avril
2016
Mise en production
(6 APIs)
P.34
Avril
2016
1er Bug
(6 APIs)
Juin
2016

35. P.35
Refactoring
Renommage de variable -> Extraction de classe

36. Linter
PR & Revue de code
Tests unitaires
P.36

37. Avec tous ces tests, linters, CI, process
Tout va bien se passer !
P.37

38. P.38

39. Une des raisons ?
L’écriture de nos tests
P.39

40. Tests
proxyquire
P.40

41. const { categoriesApi } = require('../../onlineListing/yelster’);
class CategoryService {
find(country, language) {
return categoriesApi.findOnServer(country, language);
}
}
module.exports = CategoryService;
Source
P.41

42. const { categoriesApi } = require('../../onlineListing/yelster’);
class CategoryService {
find(country, language) {
return categoriesApi.findOnServer(country, language);
}
}
module.exports = CategoryService;
describe('CategoryService', () => {
const proxyquire = require('proxyquire');
let service;
beforeEach(() => {
const categoriesApi =
jasmine.createSpyObj('categoriesApi', [’findOnServer’])
.and
.returnValue(Promise.resolve([]));
const CategoryService = proxyquire('../../../../../src/lib/service/category/CategoryService', {
'../../onlineListing/yelster': { categoriesApi }
});
service = new CategoryService();
});
});
Source
Test
P.42

43. Tests
P.43
• Ajout de tests d’intégration
• Migration à Jest
- Snapshot testing
- Options : onlyChanged, watch failed
- Parallel workers

44. 1ere Api en TS
(12 APIs)
Avril
2016
1er Bug
(6 APIs)
P.44
Juin
2016
1er refactoring
(8 APIs)
Février
2018

45. TypeScript
P.45

46. TypeScript
• Typage statique permettant un feedback immédiat :
- Pour notre code de production
- Pour le code des librairies externes
- Pour nos tests
• Fonctions de refactoring des IDE
• Lib TS -> Api JS
• Lib JS -> Api TS
P.46

47. "Avoir des types c’est bien.
Avoir des types juste c’est mieux."
Développeur Anonyme
P.48

48. TypeScript
• Chaque API expose un package de types publics
• Utilisés par les autres APIs et les applications fronts, pour le typage :
- Des paramètres de requêtes HTTP
- Des contenus des messages RabbitMQ
P.49

49. TypeScript
• Aucune vérification au runtime
• Utilisation de `io-ts`
const categoryQueryValidator = t.type({
categoryId: t.string,
country: t.string,
});
// validation succeeded
// => Right({"categoryId":"1","country":"fr" })
categoryQueryValidator.decode({ categoryId:"1", country:"fr" })
// validation failed
// => Left([...])
categoryQueryValidator.decode({ categoryId:1, country:"fr" })
P.50

50. TypeScript
• Aucune vérification au runtime
• Utilisation de `io-ts`
export type GetCategoryQueryAttributes = t.TypeOf<typeof categoryQueryValidator>;
P.51

51. Amélioration DX
(16 APIs)
Juin
2016
1er refactoring
(8 APIs)
P.52
Février
2018
1ere Api en TS
(12 APIs)
Juillet
2018

52. Linter
P.53
ESLint • TSLint

53. Linter
P.54
ESLint • TSLint

54. Linter
P.55
ESLint • CommitLint

55. Linter
P.56
ESLint • CommitLint • Prettier

56. Linter
P.57
ESLint • CommitLint • Prettier • Husky 🐶

57. Amélioration Run
(18 APIs)
Février
2018
1ere Api en TS
(12 APIs)
P.58
Juillet
2018
Amélioration DX
(16 APIs)
Octobre
2018

58. Docker image
• DockerFile naif
FROM node:10.14.1-jessie
ENV SRC_PATH /app
WORKDIR $SRC_PATH
RUN mkdir -p $SRC_PATH
COPY . $SRC_PATH
RUN yarn install
RUN yarn build
EXPOSE 8020
CMD ["node", "src/api-start.js"]
P.59

59. Docker image
• DockerFile naïf
• Problèmes
- Image volumineuse
- Téléchargement des dépendances à chaque
modification de code
1,21 Go
FROM node:10.14.1-jessie
ENV SRC_PATH /app
WORKDIR $SRC_PATH
RUN mkdir -p $SRC_PATH
COPY . $SRC_PATH
RUN yarn install
RUN yarn build
EXPOSE 8020
CMD ["node", "src/api-start.js"]
P.60

60. P.61
Docker’s building

61. Multi-stage builds
# Builder image
FROM node:10.14.1-jessie as builder
ARG NPM_TOKEN
ENV TEST_PATH /usr/bridge/bridge-api-pm
WORKDIR $TEST_PATH
COPY .npmrc package.json yarn.lock ./
RUN echo "//solocal.jfrog.io/solocal/api/npm/npm/:_authToken=${NPM_TOKEN}" >> .npmrc
&& yarn install --pure-lockfile
COPY . $TEST_PATH
RUN yarn build-all
CMD yarn ci-validate &&
yarn codecov -f coverage-jest/lcov.info &&
yarn sonar
P.62

62. Multi-stage builds
# Runtime assets builder temp image
FROM node:10.14.0-alpine as production-builder
ARG NPM_TOKEN
ENV API_PATH /usr/bridge/bridge-api-pm
WORKDIR $API_PATH
COPY .npmrc package.json yarn.lock ./
RUN echo "//solocal.jfrog.io/solocal/api/npm/npm/:_authToken=${NPM_TOKEN}" >> .npmrc
&& yarn install --pure-lockfile --prod --ignore-scripts
COPY --from=builder $API_PATH/tsconfig.json .
COPY --from=builder $API_PATH/dist/config config
COPY --from=builder $API_PATH/dist/src src
COPY --from=builder $API_PATH/dist/packages packages
COPY --from=builder $API_PATH/dist/migrations migrations
COPY --from=builder $API_PATH/dist/seeds seeds
COPY --from=builder $API_PATH/seeds/data seeds/data
RUN find . -name "*.test.js*" -delete
&& find . -name "*.ts" -delete
P.63

63. Multi-stage builds
# Runtime image
FROM node:10.14.0-alpine as production
ENV API_PATH /usr/bridge/bridge-api-pm
WORKDIR $API_PATH
COPY --from=production-builder $API_PATH .
EXPOSE 8020
CMD ["node", "-r", "tsconfig-paths/register", "src/api-start.js"]
P.64

64. Multi-stage builds
# Runtime image
FROM node:10.14.0-alpine as production
ENV API_PATH /usr/bridge/bridge-api-pm
WORKDIR $API_PATH
COPY --from=production-builder $API_PATH .
EXPOSE 8020
CMD ["node", "-r", "tsconfig-paths/register", "src/api-start.js"]
P.65
143 Mo

65. Unhandled rejection
• Warning lorsqu’une promesse en erreur n’est pas
catchée
• Forcer l’arrêt du process Node dans ce cas
• Log pour aider au debug
process.on('unhandledRejection', error => {
logger.logUnhandledRejection(error);
throw error;
});
P.66

66. Gracefull shutdown
• Fermeture des connexions
process.on('SIGTERM', () => {
logger.info('Got SIGTERM. Graceful shutdown start');
Bluebird.each(
[
{ name: 'Http Server', closable: () => http.stop() },
{ name: 'Amqp', closable: () => amqp.close() },
{ name: 'Database', closable: () => db.disconnect() },
],
({ name, closable }) =>
Bluebird.try(closable).catch((error: Error) =>
logger.error('Unable to close properly', { name,
error }),
),
)
.finally(() => logger.close());
});
P.67

67. Inversify.js
(20 APIs)
Juillet
2018
Amélioration DX
(16 APIs)
P.68
Octobre
2018
Amélioration Run
(18 APIs)
Janvier
2019

68. Inversify JS
P.69
A powerful and lightweight
inversion of control container for
JavaScript & Node.js apps powered
by TypeScript.
https://inversify.io/

69. Inversify JS
P.70
// ninja.ts
import { injectable, inject } from 'inversify'
@injectable()
export class Ninja implements INinja {
constructor(
@inject(IKatana) private readonly katana: IKatana,
@inject(IShuriken) private readonly shuriken: IShuriken
) {
this.katana = katana;
this.shuriken = shuriken;
}
}
// inversify.config.ts
import { Container } from 'inversify'
import { INinja, Ninja } from './ninja'
import { IKatana, Katana } from './katana'
import { IShuriken, Shuriken } from './shuriken'
export const container = new Container()
container.bind<INinja>(INinja).to(Ninja)
container.bind<IKatana>(IKatana).to(Katana)
container.bind<IShuriken>(IShuriken).to(Shuriken)

70. Nest.JS
(23 APIs)
Octobre
2018
Amélioration Run
(18 APIs)
P.71
Janvier
2019
Inversify
(20 APIs)
Juin
2019

71. Nest js
P.72
• Même principes qu’Angular (module, service, ioc)
• TypeScript (utilisation massive de decorators)
• REST et Messaging
• Enfin un framework Node digne de ce nom
https://nestjs.com/

72. Nest js
P.73
• Assez jeune
• Il reste quelques bugs mais rien de bloquants
https://nestjs.com/

73. Snowcamp
(25 APIs)
Janvier
2019
Inversify
(20 APIs)
P.74
Juin
2019
Nest.js
(23 APIs)
Janvier
2020

74. Lightning version

75. Les +
• Légèreté
- Utilise peu de mémoire
- Rapide à démarrer
• Evolution rapide de Node.JS (V8)
• Outils intéressants
- Prettier
- Linters
P.76

76. Les -
P.77
• Sans TS ne pas se lancer dans une application d’envergure
• Ecosystème « amateur » : log, doc api, gestion dépendance
• Apprentissage potentiellement compliqué :
- Asynchronisme
- Debug
- Profiling
• Bibliothèque standard limitée

77. Merci
P.78

78. Questions ?
P.79