![Việt
[вьет]
2](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (19)
Similar a JPoint 2017 - Where is my service, dude?
Similar a JPoint 2017 - Where is my service, dude? (20)
JPoint 2017 - Where is my service, dude?
- 3. Việt [вьет] 3 ‣ Пишу код больше 10 лет ‣ Начинал как фронтендер ‣ Написал распределенный компилятор - полюбил бекенд ‣ Больше 6 лет на Java
- 4. Việt [вьет] 4 ‣ Пишу код больше 10 лет ‣ Начинал как фронтендер ‣ Написал распределенный компилятор - полюбил бекенд ‣ Больше 6 лет на Java
- 5. Việt [вьет] 5 ‣ Пишу код больше 10 лет ‣ Начинал как фронтендер ‣ Написал распределенный компилятор - полюбил бекенд ‣ Больше 6 лет на Java
- 6. 6
- 7. 7 DevOps
- 9. @EnableEverything @FixThis @FixThat @DoWhatever public class App { // no code - no cry } 9 :(
- 10. О чём доклад? ‣ Обновление микросервисов без недоступности ‣ Тулзы ‣ Конфиги ‣ Заклятья 10
- 11. О чём доклад? ‣ Обновление микросервисов без недоступности ‣ Тулзы ‣ Конфиги ‣ Заклятья 11
- 13. 13 UI UI UI
- 20. А за окном… ‣ Сеть отваливается ‣ Серваки отваливаются ‣ Отвечают с задержкой ‣ Все такое неоднородное ‣ Толпа вредных админов 20
- 21. А за окном… ‣ Сеть отваливается ‣ Серваки отваливаются ‣ Отвечают с задержкой ‣ Все такое неоднородное ‣ Толпа вредных админов 21
- 22. А за окном… ‣ Сеть отваливается ‣ Серваки отваливаются ‣ Отвечают с задержкой ‣ Все такое неоднородное ‣ Толпа вредных админов 22
- 23. А за окном… ‣ Сеть отваливается ‣ Серваки отваливаются ‣ Отвечают с задержкой ‣ Все такое неоднородное ‣ Толпа вредных админов 23 ? ? ?
- 24. Следствия ‣ В распределенных системах отказы - обычное дело ‣ Нужно воспринимать это как естественный атрибут системы ‣ Принять и осознанно проектировать систему 24
- 25. “Hope is not a strategy” 25
- 29. Где мои деньги?!
- 31. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 31
- 33. vegeta $ echo "GET http://localhost” | vegeta attack | vegeta report 33
- 34. vegeta $ echo "GET http://localhost” | vegeta attack | vegeta report 34
- 35. vegeta $ echo "GET http://localhost” | vegeta attack | vegeta report 35
- 36. vegeta $ echo "GET http://localhost” | vegeta attack | vegeta report Requests [total, rate] 500, 50.10 Duration [total, attack, wait] 9.9s, 9.9s, 8.2ms Latencies [mean, 50, 95, 99, max] 9.7ms, 7.4ms, … Bytes In [total, mean] 73260, 146.52 Bytes Out [total, mean] 0, 0.00 Success [ratio] 84.20% Status Codes [code:count] 500:79 200:421 36
- 37. ansible $ ansible-playbook -i inventory playbook.yml 37
- 38. ansible $ ansible-playbook -i inventory playbook.yml 38
- 39. ansible $ ansible-playbook -i inventory playbook.yml 39
- 44. ansible playbook - hosts: frontend tasks: - apt: name: haproxy update_cache: yes - service: name: haproxy enabled: yes state: started 44
- 45. ansible playbook - hosts: frontend tasks: - apt: name: haproxy update_cache: yes - service: name: haproxy enabled: yes state: started 45
- 46. ansible playbook - hosts: frontend tasks: - apt: name: haproxy update_cache: yes - service: name: haproxy enabled: yes state: started 46
- 47. В прод!
- 49. Клиенты уходят!
- 50. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 50
- 51. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 51
- 52. Proxy has arrived 52 cards API transactions API oldHAProxy :8080 :8082
- 53. Временная избыточность 53 cards API transactions API oldHAProxy transactions API new :8080 :8082 :8083
- 54. Временная избыточность 54 cards API transactions API oldHAProxy transactions API new :8080 :8082 :8083
- 55. Ну норм чо 55 cards API HAProxy transactions API new :8080 :8083
- 56. HAProxy 56 haproxy -f /my.conf -D -p /my.pid
- 57. HAProxy 57 haproxy -f /my.conf -D -p /my.pid
- 58. HAProxy 58 haproxy -f /my.conf -D -p /my.pid
- 59. Обновляем конфиг HAProxy 59 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid -sf $(cat /my.pid)
- 60. Обновляем конфиг HAProxy 60 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid -sf $(cat /my.pid)
- 61. Обновляем конфиг HAProxy 61 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid -sf $(cat /my.pid) finish, please
- 62. Обновляем конфиг HAProxy 62 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid -sf $(cat /my.pid) finish, please OK!
- 63. Обновляем конфиг HAProxy 63 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid -sf $(cat /my.pid) finish, please OK! Unbind ports
- 64. Обновляем конфиг HAProxy 64 haproxy -f /my.conf -D -p /my.pid haproxy -f /my.conf -D -p /my.pid -sf $(cat /my.pid) finish, please OK! Unbind ports Serve last connections
- 65. Обновляем конфиг HAProxy 65 haproxy -f /my.conf -D -p /my.pid -sf $(cat /my.pid)
- 66. Катай!
- 76. Healthcheck идёт на помощь! @RequestMapping("/health") public String getHealth() { return "OK"; } 76
- 77. Вжух!
- 78. Как получилось ‣ Победили недоступность :) ‣ Приложения потребовали только добавления healthcheck’ов :) ‣ Не валим приложения на старте :) ‣ Усложнился deployment :( 78
- 79. Как получилось ‣ Победили недоступность :) ‣ Приложения потребовали только добавления healthcheck’ов :) ‣ Не валим приложения на старте :) ‣ Усложнился deployment :( 79
- 80. 80 cards API transactions API HAProxy :8080 :8082
- 81. 81 cards API transactions API HAProxy :8080 :8082
- 83. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 83
- 84. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 84
- 85. Mesos, Marathon & Co. 85 Host 1 Host 2 Host 5 Host 4 Host 3
- 86. Mesos, Marathon & Co. 86 Host 1 Host 2 Host 5 Host 3 Host 4 a a a a a a = mesos agent
- 87. Mesos, Marathon & Co. 87 Host 1 Host 2 Host 5 Host 3 Host 4 a mesos master a a a a
- 88. Mesos, Marathon & Co. 88 Host 1 Host 2 Host 5 Host 3 Host 4 a mesos master a a a a marathon
- 89. Mesos, Marathon & Co. 89 Host 1 Host 2 Host 5 Host 3 Host 4 a mesos master a a a a marathon app manifest
- 90. Mesos, Marathon & Co. 90 Host 1 Host 2 Host 5 Host 3 Host 4 a mesos master a a a a marathon app app app
- 91. А HAProxy кто будет настраивать? 91 marathon marathon-lb marathon_lb.py HAProxy
- 92. Ставь!
- 93. HAProxy socket flags ‣ SO_REUSEADDR - ignore TIME_WAIT ‣ SO_REUSEPORT - bind same IP:PORT 93
- 94. 94
- 95. spring-boot-starter-web 95 <project …> <artifactId>spring-boot-starter-web</artifactId> <!-- … --> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-tomcat</artifactId> </dependency> </dependencies> </project>
- 96. spring-boot-starter-web 96 <project …> <artifactId>spring-boot-starter-web</artifactId> <!-- … --> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-tomcat</artifactId> </dependency> </dependencies> </project>
- 97. Tomcat 97 public void bind() throws Exception { this.serverSock = ServerSocketChannel.open(); this.socketProperties.setProperties(this.serverSock.socket()); InetSocketAddress addr = // …; this.serverSock.socket().bind(addr, this.getBacklog()); // … }
- 98. Tomcat 98 public void bind() throws Exception { this.serverSock = ServerSocketChannel.open(); this.socketProperties.setProperties(this.serverSock.socket()); InetSocketAddress addr = // …; this.serverSock.socket().bind(addr, this.getBacklog()); // … }
- 99. Tomcat 99 public void bind() throws Exception { this.serverSock = ServerSocketChannel.open(); this.socketProperties.setProperties(this.serverSock.socket()); InetSocketAddress addr = // …; this.serverSock.socket().bind(addr, this.getBacklog()); // … }
- 100. Tomcat 100 public void bind() throws Exception { this.serverSock = ServerSocketChannel.open(); this.socketProperties.setProperties(this.serverSock.socket()); InetSocketAddress addr = // …; this.serverSock.socket().bind(addr, this.getBacklog()); // … }
- 101. Tomcat 101 public void bind() throws Exception { this.serverSock = ServerSocketChannel.open(); this.socketProperties.setProperties(this.serverSock.socket()); InetSocketAddress addr = // …; this.serverSock.socket().bind(addr, this.getBacklog()); // … }
- 102. Tomcat 102 public void setProperties(ServerSocket socket) throws SocketException { if (this.soReuseAddress != null) { socket.setReuseAddress(this.soReuseAddress.booleanValue()); } // … }
- 103. Tomcat 103 public void setProperties(ServerSocket socket) throws SocketException { if (this.soReuseAddress != null) { socket.setReuseAddress(true); } if (this.soReusePort != null) { socket.setReusePort(true); } // … }
- 104. Копай глубже!
- 106. linux/net/core/sock_reuseport.c 106 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
- 107. linux/net/core/sock_reuseport.c 107 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
- 108. linux/net/core/sock_reuseport.c 108 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
- 109. linux/net/core/sock_reuseport.c 109 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
- 110. linux/net/core/sock_reuseport.c 110 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
- 111. linux/net/core/sock_reuseport.c 111 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
- 112. linux/net/core/sock_reuseport.c 112 struct sock *reuseport_select_sock(hash, …) { // … struct sock *sk2 = NULL; reuse = rcu_dereference(sk->sk_reuseport_cb); socks = READ_ONCE(reuse->num_socks); sk2 = reuse->socks[reciprocal_scale(hash, socks)]; // … return sk2; }
- 113. struct sock *__inet_lookup_listener(…) { u32 phash = 0; struct sock *result = NULL; phash = inet_ehashfn(net, daddr, hnum, saddr, sport); result = reuseport_select_sock(phash, …); // … return result; } linux/net/ipv4/inet_hashtables.c 113
- 114. struct sock *__inet_lookup_listener(…) { u32 phash = 0; struct sock *result = NULL; phash = inet_ehashfn(net, daddr, hnum, saddr, sport); result = reuseport_select_sock(phash, …); // … return result; } linux/net/ipv4/inet_hashtables.c 114
- 115. struct sock *__inet_lookup_listener(…) { u32 phash = 0; struct sock *result = NULL; phash = inet_ehashfn(net, daddr, hnum, saddr, sport); result = reuseport_select_sock(phash, …); // … return result; } linux/net/ipv4/inet_hashtables.c 115
- 116. static u32 inet_ehashfn(const struct net *net, const __be32 laddr, const __u16 lport, const __be32 faddr, const __be16 fport) { // … return __inet_ehashfn(laddr, lport, faddr, fport, inet_ehash_secret + net_hash_mix(net)); } linux/net/ipv4/inet_hashtables.c 116
- 117. static u32 inet_ehashfn(const struct net *net, const __be32 laddr, const __u16 lport, const __be32 faddr, const __be16 fport) { // … return __inet_ehashfn(laddr, lport, faddr, fport, inet_ehash_secret + net_hash_mix(net)); } linux/net/ipv4/inet_hashtables.c 117
- 118. static u32 inet_ehashfn(const struct net *net, const __be32 laddr, const __u16 lport, const __be32 faddr, const __be16 fport) { // … return __inet_ehashfn(laddr, lport, faddr, fport, inet_ehash_secret + net_hash_mix(net)); } linux/net/ipv4/inet_hashtables.c 118
- 119. struct sock *__inet_lookup_listener(const __be32 saddr, __be16 sport, …) { u32 phash = 0; struct sock *result = NULL; phash = inet_ehashfn(net, daddr, hnum, saddr, sport); result = reuseport_select_sock(phash, …); // … return result; } linux/net/ipv4/inet_hashtables.c 119
- 120. Here comes the pain ‣ Запросы на соединение приходят на случайный socket ‣ Старый процесс HAProxy тоже получает запросы на connect ‣ При большом RPS соединения кладутся в очередь ‣ Старый HAProxy может завершиться, когда в очереди уже есть соединения :( 120
- 121. Here comes the pain ‣ Запросы на соединение приходят на случайный socket ‣ Старый процесс HAProxy тоже получает запросы на connect ‣ При большом RPS соединения кладутся в очередь ‣ Старый HAProxy может завершиться, когда в очереди уже есть соединения :( 121
- 122. Here comes the pain ‣ Запросы на соединение приходят на случайный socket ‣ Старый процесс HAProxy тоже получает запросы на connect ‣ При большом RPS соединения кладутся в очередь ‣ Старый HAProxy может завершиться, когда в очереди уже есть соединения :( 122
- 123. Here comes the pain ‣ Запросы на соединение приходят на случайный socket ‣ Старый процесс HAProxy тоже получает запросы на connect ‣ При большом RPS соединения кладутся в очередь ‣ Старый HAProxy может завершиться, когда в очереди уже есть соединения :( 123
- 124. Решения? ‣ Ничего не делать ‣ Низкоуровневые заклятья для HAProxy ‣ Отказаться от HAProxy 124
- 125. Решения? ‣ Ничего не делать ‣ Низкоуровневые заклятья для HAProxy ‣ Отказаться от HAProxy 125
- 126. Решения? ‣ Ничего не делать ‣ Низкоуровневые заклятья для HAProxy ‣ Отказаться от HAProxy 126
- 127. Катимся к успеху ‣ In-place update ‣ Proxy ‣ Resource management ‣ Client side LB 127
- 128. We are server side 128 app 1 app 2 proxy
- 129. Лишнее звено 129 app 1 app 2 proxy
- 130. Client side! 130 app 1 app 2
- 131. A piece of proxy ‣ Список сервисов ‣ Балансировщик 131
- 132. A piece of proxy ‣ Список сервисов ‣ Балансировщик 132
- 133. Netflix Ribbon 133 HttpResourceGroup resourceGroup = Ribbon .createHttpResourceGroup( “transactionsClient", ClientOptions.create() .withConfigurationBasedServerList(“srv1:8080, srv2:8088”) );
- 134. Netflix Ribbon 134 HttpRequestTemplate requestTemplate = resourceGroup .newTemplateBuilder("requestTemplate") .withMethod(“POST") .withUriTemplate("/transactions") .build();
- 135. Netflix Ribbon 135 public class BaseLoadBalancer extends AbstractLoadBalancer ... { protected IRule rule = new RoundRobinRule(); protected volatile List<Server> allServerList = Collections .synchronizedList(new ArrayList<Server>()); protected volatile List<Server> upServerList = Collections .synchronizedList(new ArrayList<Server>()); }
- 136. Netflix Ribbon 136 public class BaseLoadBalancer extends AbstractLoadBalancer ... { protected IRule rule = new RoundRobinRule(); protected volatile List<Server> allServerList = Collections .synchronizedList(new ArrayList<Server>()); protected volatile List<Server> upServerList = Collections .synchronizedList(new ArrayList<Server>()); }
- 137. Netflix Ribbon 137 public class BaseLoadBalancer extends AbstractLoadBalancer ... { protected IRule rule = new RoundRobinRule(); protected volatile List<Server> allServerList = Collections .synchronizedList(new ArrayList<Server>()); protected volatile List<Server> upServerList = Collections .synchronizedList(new ArrayList<Server>()); }
- 138. Netflix Ribbon 138 public class BaseLoadBalancer extends AbstractLoadBalancer ... { protected IRule rule = new RoundRobinRule(); protected volatile List<Server> allServerList = Collections .synchronizedList(new ArrayList<Server>()); protected volatile List<Server> upServerList = Collections .synchronizedList(new ArrayList<Server>()); }
- 139. Netflix Ribbon 139 Timer lbTimer = // …; void setupPingTask() { lbTimer.schedule( new PingTask(), 0, pingIntervalSeconds * 1000); }
- 140. Netflix Ribbon 140 public Server chooseServer(Object key) { try { return rule.choose(key); } catch (Exception e) { log.warn("LoadBalancer: Error choosing server for key {}”, key, e); return null; } }
- 141. Netflix Ribbon 141 public Server chooseServer(Object key) { try { return rule.choose(key); } catch (Exception e) { log.warn("LoadBalancer: Error choosing server for key {}”, key, e); return null; } }
- 142. Netflix Ribbon 142 public class RoundRobinRule extends AbstractLoadBalancerRule { public Server choose(Object key) { nextServerIndex = incrementAndGetModulo(serverCount); return allServers.get(nextServerIndex); } }
- 143. Netflix Ribbon 143 private int incrementAndGetModulo(int modulo) { for (;;) { int current = nextServerCyclicCounter.get(); int next = (current + 1) % modulo; if (nextServerCyclicCounter.compareAndSet(current, next)) return next; } }
- 144. Netflix Ribbon 144 private int incrementAndGetModulo(int modulo) { for (;;) { int current = nextServerCyclicCounter.get(); int next = (current + 1) % modulo; if (nextServerCyclicCounter.compareAndSet(current, next)) return next; } }
- 145. Netflix Ribbon 145 private int incrementAndGetModulo(int modulo) { for (;;) { int current = nextServerCyclicCounter.get(); int next = (current + 1) % modulo; if (nextServerCyclicCounter.compareAndSet(current, next)) return next; } }
- 146. Spring cloud Netflix 146 app 1 eureka server app 2 app 3 app 4
- 147. Spring cloud Netflix 147 app 1 eureka server app 2 app 3 app 4
- 148. Eureka server 148 @SpringBootApplication @EnableEurekaServer public class EurekaServer { public static void main(String[] args) { new SpringApplicationBuilder(EurekaServer.class) .web(true) .run(args); } }
- 149. Eureka server 149 @SpringBootApplication @EnableEurekaServer public class EurekaServer { public static void main(String[] args) { new SpringApplicationBuilder(EurekaServer.class) .web(true) .run(args); } }
- 150. Eureka client 150 @SpringBootApplication @RestController @EnableEurekaClient public class CardsApi { public static void main(String... args) { SpringApplication.run(CardsApi.class, args); } }
- 151. Eureka client 151 @SpringBootApplication @RestController @EnableEurekaClient public class CardsApi { public static void main(String... args) { SpringApplication.run(CardsApi.class, args); } }
- 152. ‣ Прямая коммуникация ‣ Нет точки отказа в виде прокси-сервера ‣ Можно задавать правила per-app ‣ Дополнительная логика на клиенте 152 Client-side Server-side ‣ Прозрачно для приложений ‣ Можно задавать глобальные правила ‣ Дополнительные точки отказа vs Load balancing
- 153. ‣ Прямая коммуникация ‣ Нет точки отказа в виде прокси-сервера ‣ Можно задавать правила per-app ‣ Дополнительная логика на клиенте 153 Client-side Server-side ‣ Прозрачно для приложений ‣ Можно задавать глобальные правила ‣ Дополнительные точки отказа vs Load balancing
- 154. Выдохнули ‣ In-place обновление - самое простое. Но вызывает длинные окна недоступности. ‣ Недоступность можно обеспечить настройками прокси и оркестрацией с healthcheck’ами ‣ Для large-scale оркестрации можно использовать Mesos/Marathon + Marathon-LB ‣ Альтернатива проксям - Client-side Service Discovery 154
- 155. Выдохнули ‣ In-place обновление - самое простое. Но вызывает длинные окна недоступности. ‣ Недоступность можно обеспечить настройками прокси и оркестрацией с healthcheck’ами ‣ Для large-scale оркестрации можно использовать Mesos/Marathon + Marathon-LB ‣ Альтернатива проксям - Client-side Service Discovery 155
- 156. Выдохнули ‣ In-place обновление - самое простое. Но вызывает длинные окна недоступности. ‣ Недоступность можно обеспечить настройками прокси и оркестрацией с healthcheck’ами ‣ Для large-scale оркестрации можно использовать Mesos/Marathon + Marathon-LB ‣ Альтернатива проксям - Client-side Service Discovery 156
- 157. Выдохнули ‣ In-place обновление - самое простое. Но вызывает длинные окна недоступности. ‣ Недоступность можно обеспечить настройками прокси и оркестрацией с healthcheck’ами ‣ Для large-scale оркестрации можно использовать Mesos/Marathon + Marathon-LB ‣ Альтернатива проксям - Client-side Service Discovery 157