2. Программа
Краткий обзор виртуализации и платформы vSphere
Обзор vSphere 5
Службы инфраструктуры: вычислительные ресурсы, хранилище и сеть
Службы приложений: доступность, безопасность и масштабируемость
Наборы и редакции vSphere 5
Продукты семейства vSphere 5
vCloud Director
vCenter Operations
Семейство vShield
vCenter Site Recovery Manager
Продукты для End User Computing
2
3. VMware vSphere –
The Recognized Virtualization Leader
VMware Solutions –
Best Virtualization Platform The Most Proven, Trusted and Widely Deployed
7 years in a row!
VMware Ecosystem –
The Most Flexibility and Choice
3
4. Первый полноценный стек продуктов для облачной
инфраструктуры
Пакет решений VMware для облачной
инфраструктуры
Политики, отчетность,
vCloud Director самообслуживание
Безопасность для виртуальных
vShield Security ЦОД и их границ
vCenter Operations Мониторинг и управление
vCenter Site Recovery Manager Непрерывность бизнеса
Высокопроизводительный контроль
vSphere 5 ресурсов, а также их объединение
в пулы и планирование
4
6. Обзор виртуализации
Система без ПО VMware Система с ПО VMware
• Отделение BIOS, операционной системы и приложений от физического оборудования
• Множество виртуальных машин на одном физическом оборудовании
• Стандартизация разных поколений оборудования разных производителей
6
7. Основные функции виртуализации
Разделение Изоляция
Множество виртуальных машин на
Виртуальные машины изолированы
одном физическом сервере
Инкапсуляция Независимость от оборудования
Виртуальная машина может быть
сохранена как набор файлов и Виртуальная машина запускается
перенесена без изменений на любом
копированием/перемещением файлов физическом серевере
7
8. Преимущества технологий VMware
Контроль ресурсов Повышенная Емкость по
+
Динамическая балансировка
Постоянная оптимизация
доступность
Автоматизация
Для ВМ и приложений + требованию
Масштабирование «на лету»
Гибкость
X
8
9. Представляем...
Лучшая платформа для
облачных инфраструктур
9
10. Масштабирование ВМ
Общие сведения
Максимальная конфигурация ВМ:
32 виртуальных ЦП
ОЗУ объемом 1 Тбайт
Преимущества
Текущий размер в 4 раза превышает размер
в4 в предыдущих версиях vSphere
раза Поддержка выполнения даже самых
крупных приложений в vSphere, в том числе
больше баз данных очень большого объема
Виртуализация еще большего числа
приложений (уровень 1 и 2)
10
11. Новая архитектура HA
Общие сведения
Новая архитектура для компонента
Storage High Availability
vMotion
VMware Fault Tolerance
High Availability
Режим обслуживания
DRS vMotion
Объединение
сетевых
VMware
адаптеров
Альтернативные
Преимущества
пути
Хранилище
Упрощенная установка и настройка
кластеризации
Сервер
Повышенная надежность за счет
Компонент
более точных гарантий и мониторинга
ресурсов
Улучшенная масштабируемость
11
12. Гарантия производительности: управление операциями
ввода-вывода сети и хранилища
3. Элементы управления
вводом-выводом,не
Общие сведения
2. Другим ВМ возможность 1. ВМ запрашивает
предоставить приоритетный
хватает ресурсов больше ресурсов
доступ особо важным ВМ Задание соглашения об уровне
обслуживания при использовании ресурсов
хранилища и сети
Добавлены параметры управления
вводом-выводом сети на каждую ВМ
Добавлена поддержка NFS для
управления вводом-выводом
хранилища
Преимущества
Устранение проблемы избыточного
потребления ресурсов некоторыми ВМ
Более подробные соглашения об уровне
обслуживания для сетевого трафика
Распространение соглашений об уровне
обслуживания хранилищ на большее
количество ВМ
12
13. DRS для хранилища и хранилище на основе профилей
Общие сведения
Высокая
пропускная
Многоуровневое хранилище на основе
способность
подсистемы
характеристик производительности
ввода-вывода
(то есть кластер хранилищ данных)
Упрощение первоначального размещения
хранилища
Балансировка нагрузки на основе подсистемы
ввода-вывода
Координация ресурсов с соглашениями об уровне
обслуживания
Уровень 1 Уровень 2 Уровень 3 Преимущества
Устранение простоев ВМ из-за обслуживания
хранилищ
Сокращение времени планирования и настройки
хранилищ
Уменьшение числа ошибок при выборе хранилища
ВМ и управлении им
Повышение эффективности использования
хранилища за счет оптимизации размещения
13
14. Автоматическое развертывание
Общие сведения
Сервер vCenter Развертывание узлов vSphere
с возможностью и применение исправлений за считанные
автоматического минуты без прерывания работы с помощью
развертывания новой модели
Профили Профили
образов узлов Координация с помощью профилей узлов
vSphere
Преимущества
Быстрая инициализация: первоначальное
развертывание и установка исправлений
vSphere vSphere vSphere на узлах
Централизованное управление образами
и узлами
Сокращение числа развертываний
и исправлений, выполняемых вручную
14
15. VMware ESXi: архитектура гипервизора 3-го поколения
VMware GSX Архитектура Архитектура
(VMware Server) VMware ESX VMware ESXi
• Устанавливается в качестве • Устанавливается на уровне • Устанавливается на уровне
приложения оборудования оборудования
• Выполняется в базовой ОС • Использует средства ОС • Задачи управления
Linux (служебную консоль) вынесены за пределы
• Управление ресурсами для запуска партнерских гипервизора
зависит от ОС агентов и сценариев
VMware Server Служебная консоль VMkernel
VMware ESXi VMkernel
ОС Windows или Linux VMware ESX
2001 г. 2003 г. 2007 г.
Архитектура ESXi работает независимо от ОС основного назначения,
упрощает управление гипервизором и повышает безопасность.
15
16. Переход на ESXi Самое надежное
Общие сведения
В vSphere 5.0 будет использоваться
только гипервизор ESXi
ESXi — это «золотой» стандарт для
гипервизоров
vSphere ESXi
Преимущества
«Тонкая» архитектура
Повышенная безопасность
Оптимизированные развертывание
и настройка
Упрощенная модель исправлений
и обновлений
16
17. vCenter Server Appliance (Linux)
Общие сведения
Выполнение сервера vCenter
в качестве устройства на основе
ОС Linux
Преимущества
Упрощенная установка и настройка
Поддержка вариантов развертывания
в соответствии с потребностями или
задачами компании
Использование средств обеспечения
доступности vSphere для защиты
уровня управления
17
18. Веб-клиент
Общие сведения
Запуск и управление vSphere
из любого веб-браузера и любой
точки мира
Преимущества
Независимость платформы
Заменяет графический интерфейс
Web Access
Структурный элемент администриро-
вания на основе облака
18
19. Прочие улучшения
Сеть Доступность
• Распределенный коммутатор (Netflow, • vMotion в сетях с более
поддержка SPAN, LLDP) высокими задержками
• Управление вводом-выводом сети (каждой ВМ) передачи данных
• Улучшения Data Recovery
Хранилище
Управление
• VMFS 5
• Интерфейс пользователя iSCSI • Расширяемость иерархии
• Управление вводом-выводом хранилища (NFS) • Установка и управление
решениями
• Интеграция массивов для Thin Provisioning
• Клиент iPad
• Переключение на SSD, хранилища данных VMFS
емкостью 2 Тбайт и более • HW v8
• Поддержка снимков для Storage vMotion • Multi-core GUI
• USB 3.0
• Software 3D Video
http://www.vmware.com/files/pdf/products/vsphere/vmware-what-is-new-vsphere5.pdf
http://www.vmware.com/products/vsphere/upgrade-center/overview.html
19
21. Наборы VMware vSphere Essentials Kit для малого бизнеса
vSphere 5 Essentials
Для небольших сред
Преимущества Essentials Essentials+
Более эффективное использование
1 существующей инфраструктуры
Сокращение временных затрат на
2 управление инфраструктурой благодаря
централизованному управлению vCenter
Повышение доступности приложений
с помощью
3 • vMotion (без плановых простоев)
• High Availability (непрерывность бизнеса)
Более эффективная защита бизнес-
4 данных благодаря VMware Data Recovery
21
22. Редакции VMware vSphere Enterprise
Редакции vSphere 5
Standard Enterprise Enterprise+
Преимущества
Консолидация и доступность
Преобразование физических систем в виртуальные
1 машины, перенос работающих систем с помощью
vMotion и поддержка High Availability (HA)
Постоянная доступность
2 Технология обеспечения отказоустойчивости Fault
Tolerance (FT) для приложений
Автоматизированное управление ресурсами
Поддержка балансировки нагрузки (DRS), управления
3 электропитанием (DPM) и переноса работающих
хранилищ (Storage vMotion) без вмешательства
оператора
Упрощение эксплуатации
Расширенные сетевые возможности (dvSwitch, NIOC,
NetFlow, Port Mirroring, QoS),
4 Расширенное хранилище (Storage DRS, Storage Profiles),
Развертывание и настройка узлов (AutoDeploy, Host
Profiles) для дополнительного снижения
эксплуатационных расходов
22
23. Редакции VMware vSphere 5 Acceleration Kits
Essential Kits Acceleration Kits
Kit Feature and Scale Overview
(up to 3 hosts) (unlimited hosts, extensible management)
(US pricing only. Pricing outside the US might vary)
Enterprise +
New in vSphere 5.0 Essentials Essentials + Standard AK Enterprise AK
AK
Includes 6 CPUs 6 CPUs 8 CPUs 6 CPUs 6 CPUs
Entitlements per CPU license
• vRAM Entitlement 32 GB 32 GB
(192 GB max) (192 GB max) 32 GB 64 GB 96 GB
• vCPU 8 way 8 way 8 way 8 way 32 way
Features
• Centralized Management
• High Availability
• Data Recovery
• vMotion
• Virtual Serial Port Concentrator
• Hot Add
• vShield Zones
• Fault Tolerance
• Storage APIs for Array Integration, Multipathing
• Storage vMotion
• Distributed Resource Scheduler & Distributed Power Management
• Distributed Switch
• I/O Controls (Network and Storage)
• Host Profiles
• Auto deploy
• Profile-Driven Storage
• Storage DRS
23
25. VMware vCloud
Важные характеристики облака (согласно NIST)
• Сервис по требованию, самообслуживание (On-demand, self service)
• Доступ по различным
• Пулы ресурсов (Resource pooling)
• Эластичность (Rapid elasticity)
• Измеряемые сервисы (Measured service)
Контроль (Governance)
• Безопасное деление на зоны (Secured multi-tenancy)
• Автоматизация управления и рабочих процессов (Workflow automation and
management)
• Защита данных (Data protection)
25
26. Облачные вычисления (Cloud Computing)
Новая модель, позволяющая доставлять ИТ как услуги
• •
•
•
•
•
•
•
•
•
Потребление IT как услуги
26
27. Корпоративные гибридные облака
Услуги VMware vCloud
Приложения Приложения
Общая платформа
Общее управление
Общая система
безопасности
Частное облако Поставщик
VMware vCloud = услуг vCloud
Корпоративное
инфраструктуры
Управление облачнойгибридное облако Безопасность облачной
инфраструктурой
Возможность выбора оператора:
как компании, так и расположения
27
28. VMware vCloud
Cloud Computing (NIST) Building Blocks
On-Demand, Self Service
Broad Network Access vCloud API vCloud Connector
Resource Pooling
VMware vSphere
Rapid Elasticity VMware vCloud Director
Measured Service vCenter Chargeback
Governance
Secured Multi-Tenancy vShield Edge
Workflow Automation and Management VMware Service Manager vCenter Orchestrator
vStorage API for Data Protection
Data Protection
(VADP)
28
29. VMware vCloud 1.5 Preview – Where We’re Headed in Q1 2011
vCloud Request Manager
vCenter Chargeback
vCloud
vCloud API Director
vShield Edge
vCloud vCenter
Connector Orchestrator
VMware vSphere
29
30. vCloud Component: VMware vSphere
Задачи
• Абстракция оборудования (вычислительных ресурсов) через виртуализацию
• Объединение ресурсов в пулы
Предоставляемые сервисы
• Виртуализированные ресурсы (CPU, memory, network, storage resources)
vCloud
Abstractions External, Org, and
Virtual Datacenters vApp Networks Organizations
Resource Pools
vSphere
Abstractions Host Clusters Port Groups or
dvPort Groups Datastores
Physical
Resources
Compute Network Storage
30
31. vCloud Component: VMware vCloud Director
Задачи
• Организация и выделение ресурсов для разных арендаторов (multi-
tenancy)
• Предоставление «конечным пользователям» портала самообслуживания
для запроса и управления ресурсами
Предоставляемые сервисы
• Провайдеру
• Абстракция ресрсов , выделение и распределение – virtual datacenters
• Организации – границы безопасности
• Аренда ресурсов и квоты
• API для управления и интеграции
• Потребителю
• web portal для «пользователей»
• Каталог vApps (нагрузки)
• Управление доступом (access control)
• VMware remote console
31
32. Абстрагирование ресурсов для предоставления в облаке
VMware vCloud Director
Организация: маркетинг Организация: финансы
Пользователи Виртуальные ЦОД Каталоги Пользователи Виртуальные ЦОД Каталоги
и политики организации и политики организации
Виртуальные ЦОД поставщика IT услуг
(«серебряный»)
(«бронзовый»)
(«золотой»)
VMware vCenter Server
Пулы ресурсов Хранилища данных Группы портов
VMware vSphere
Безопасное частное облако
32
35. Отличия управления виртуальной инфраструктурой
LOB A LOB B LOB C
• Общая инфраструктура (Shared Infrastructure)
• Общая для разных
приложений/подразделений/предприятий
• «Невидимые стены» – ограничения (limits) и
борьба за ресурсы (contention)
Новая
модель • Повседневное изменение ландшафта
• Добавление/удаление ВМ каждый день
• Емкость не постоянна – объекты меняются VDC 1: Gold VDC 2: Silver VDC 3: Bronze
• Нагрузка не привязана к оборудованию
• Внедрение на логические сущности (clusters,
datastores, port groups, etc)
• Динамическое перемещение внутри кластеров
(DRS, S-DRS, DPM, HA)
• Пользователям нужно больше сервисов и
приложений
Растут
• Выше требования QoS – приложения должны быть
запросы
доступны везде, всегда без простоев
• Больше ВМ- больше внутренних зависимостей,
больше изменений
35
36. vСOps vSphere UI – Unified Dashboard
Фокус на проблемах
• Нажми для деталей!
Основные темы
• Здоровье (Health)
• Риск (Risk)
• Эффективность (Efficiency)
Новые концепции
• Сбои (Faults)
• Профиль недельного стресса
(Weekly Stress Profile)
• Потенциально свободные
ресурсы (Reclaimable Waste)
• Плотность/ коэффициент
консолидации (Density)
36
37. vCOps vSphere UI – для тактика и стратега
Operations Short and Long Term Capacity
• Текущие • Куда мы
проблемы идем?
• Что • В каких
происходит областях
сейчас? возможны
• На что проблемы с
обратить емкостью?
внимание? • Насколько
эффективны
мои ВМ и
моя инфра-
структура?
37
38. vCOps Default UI – Основные и дополнительные показатели
• Высокоуровн
евые
Major x 3 (агрегирован
ные)
• Расчитаны из
простых
• Специфика
Minor x 8 • Подсказка
что делать
38
39. vCOPs изучает нормальное поведение и аномалии
Не считает нормальным «нормальное» распределение
8 разных алгоритмов анализа
Запоминает динамические диапазоны нормы без шаблонов
Находит модели поведения (patterns) и идентифицирует
аномалии Slide 39
GRAY BAR
Learned Upper and
Lower band of Dynamic
Threshold - “Normal”
BLUE LINE
Metric’s
Measured Value
RED Zone
Breached Dynamic
Threshold – “Abnormal”
39
40. Диаграмма емкости: Текущее и будущее потребление ресурсов
Current and
future capacity
state for
clusters, hosts,
VMs
Current and
future capacity
state for CPU,
memory, disk
I/O, network I/O
40
41. vCM – контроль, соответствие стандартам, безопасность
Контроль и Развертывание &
Минимизация
Соответствие управление Управление обновление в
рисков
стандартам виртуальной изменениями соответствии со
безопасности
средой стандартами
“Эффективность обслуживания & единая среда управления”
41
42. vCenter Configuration Manager
Детальный сбор данных и
прозрачность
• Масштабируемый, безопасный сбор
данных, с дальнейшим автоматическим
отслеживанием изменений
Политики соответствия
• Гарантирует соответствие различным
отраслевым и регулирующим
стандартами и требованиями на
непрерывной основе
Исправления и управление
обновлениями
• Автоматически обнаруживает и устраняет
проблемы конфигурации и уязвимости
для различных систем
Настройка сервера и
Развертывание стека приложений
• Разворачивает образы Linux, Windows и
ESX и оптимизированные стеки
приложений JeOS
Поддержка различный систем
• Поддерживает физические &
виртуальные Windows рабочие столы и
серверы, серверы UNIX и Linux, и vSphere
42
43. Управление и Отслеживание уровня соответствия
Отслеживание уровня соответствия в реальном времени
Детальный сбор данных SOX HIPAA FISMA
• Виртуальные и Физические машины
• Десктопы и сервера DISA GLBA ISO 17799
PCI
• Широкий спектр поддерживаемых ОС CIS
NERC/
Встроенные шаблоны NIST PCI DSS VMware
FERC
• Регулирующие стандарты
Virtualization Hardening Guidelines
• SOX, HIPAA, GLBA, FISMA, DISA,
ISO 27002 CIS Benchmarks
• Индустриальные стандарты
• Безопасность
• PCI DSS
• NERC/FERC CIS Certified Benchmarks
• vSphere рекомендации DISA NIST
• VMware Best Practices Руководства по усилению безопасности
• CIS Benchmark
Специфичные для вендоров руководства по
безопасности
43
Полное представление из единой консоли
44. vCOPs – архитектура
vC Ops Mgr vSphere UI
vSphere
vSphere
vSphere
VMware Cloud / vCenter
vCenter
Communications
over SSL
vCenter Operations Manager vApp
vCenter
UI VM Analytics VM Configuration
Manager
Collector
Custom vSphere Admin OpenVPN
WebApp WebApp WebApp
ActiveMQ
Capacity Analytics
Performance Analytics
3rd Party Data
Rolled up Sources
capacity Metric
data Data
Postgres DB Postgres DB
FSDB
vC Ops Mgr Custom UI
44
45. Редакции VMware vCenter Operations Overview
vCenter Operations Enterprise
+ Полное управление
конфигурациями и Compliance
vCenter Operations Advanced
+ Адаптеры интеграции
+ Полное VMware & 3rd Party Integrations
Потребности Заказчика
управление
vCenter Operations Standard емкостью
Производительность
Емкость (Real-time)
Изменения
конфигурации
vSphere
Инфраструктура vSphere
Гетерогенные среды
Масштаб инфраструктуры
45
47. Обеспечение безопасности ВМ
? Обеспечение защиты
как для физических
серверов
Виртуальная машина
Антивирусная защита
Управление обновлениями
Сеть
Система обнаружения/
предотвращения атак
Межсетевой экран
47
4
49. Представляем линейку продуктов vShield
Защита от внешнего периметра до виртуальных машин
vShield App and vShield Edge
vShield Endpoint
Zones Endpoint = VM Edge
Security Zone Безопасность внешнего
Эффективный антивирусный
Сегментирует рабочие нагрузки периметра виртуального ЦОД
контроль
vShield Manager
Endpoint = VM
Централизованное
управление
49
4
52. VMware улучшает непрерывность бизнеса на всех уровнях
Local Site Failover Site
vSphere vSphere vSphere vSphere vSphere
Улучшено
В 2011
Локальная доступность / Local Availability Disaster Recovery
Улучшено
vSphere High Availability в 2011 vCenter Site Recovery Manager
vSphere Fault Tolerance • vSphere Replication
vMotion / Storage vMotion
Новое
в 2011
Улучшено
Защита данных / Data Protection
в 2011
vSphere Data Recovery
Storage APIs for Data Protection
52
53. Проблемы традиционных средств BC/DR
Сложные планы Непроверенное
Дорого
восстановления восстановление
ПО Apps
Серверы ? ?
Hosts
?
СХД Storage
?
?
?
Инженерные ? Network
системы
?
>$10K на
приложение
Невозможность выполнить бизнес-требования
• Большой RTO – от дней до недель
• Необходимо очень много времени и ресурсов
53
54. vSphere –лучшая платформа для катастрофоустойчивости
Эффективная инфраструктура
• Меньшие требования к оборудованию в
vSphere запасном ЦОД (recovery site)
Консолидация
• Можно использовать оборудование на
recovery site для test/R&D/low-priority apps
Гибкая инфраструктура
Независимость
• Оборудование может быть разным
от vSphere vSphere
• Новое оборудование – в основной ЦОД,
оборудования «старое» - в запасной ЦОД
Простая защита приложений
• Вся система – включая приложения, ОС,
Инкапсуляция данные – хранятся как файлы виртуальных
машин
• Вся система может быть защищена ПО
защиты данных
54
55. vCenter Site Recovery Manager гарантирует простой и надежный DR
Site Recovery Manager дополняет vSphere для обеспечения простейшего и
наиболее надежного решения по защите от катастроф и миграции любых
приложений между ЦОД (сайтами)
Обеспечивает cost-efficient репликацию
• Встроенная vSphere Replication
Site A (Primary) Site B (Recovery) • Поддержка storage-based replication
VMware Site Recovery VMware Site Recovery
Упрощает управление планами
vCenter Server Manager vCenter Server Manager
восстановления и миграции
• Замена контрольных списков
VMware vSphere VMware vSphere централизованными планами
восстановления
• От недель до минут для создания нового
плана восстановления
Автоматизация переключения
Servers Servers • Допускает частое неразрушающее
тестирование
• Гарантирует автоматизированное
переключение и миграцию
• Автоматизирует возврат в основной ЦОД
55
56. Site Recovery Manager дополняет vSphere для BC/DR
Обычный DR VMware
Streamline planned migrations
and automated failback
Automated DR failover and non- SRM
disruptive testing
Simple management of recovery
and migration plans
vSphere Replication
Encapsulation for simple recovery
of entire systems
Hardware independence at vSphere
failover site
Consolidation to reduce costs
56
57. Ключевые компоненты SRM 5
Protected Site Recovery Site
Site Site
vCenter Server Recovery vCenter Server Recovery
Manager Manager
vSphere vSphere
Storage Storage
57
58. Ключевые компоненты SRM 5
vCenter Server 5
• 1 на сайт
Protected Site • Standard or Foundation
Site Recovery Manager 5
Site
vCenter Server Recovery • 1 per site
Manager
vSphere 3.5, 4.x or 5
• Standard, Enterprise or Enterprise Plus
Replication Options
vSphere
vSphere Replication
• В комплекте с SRM
Storage Storage-Based Replication (3rd party)
58
59. SRM поддерживает различные топологии
Active-Passive Active-Active Bi-directional Shared
Failover Failover Failover Recovery Sites
Production Production Production
Recovery Recovery Production
• Наиболее частый • Использование • Продуктивные • Многие к одному
• Дорогие выделенные запасного ЦОД для приложения на обоих • Например для
ресурсы test, development, сайтах ЦО/РО (RO/BO)
training • Каждый сайт –
запасной для другого
59
63. VMware View – архитектура Security Server
Данные в ЦОД
Аутентификация
Active Directory
View Security Server
(DMZ)
Шифрование
соединения SSL
Опциональная
интеграция с
SecurID
Поддержка Smart
Card
63
64. VMware View – компоненты
View Administrator - Web interface https://<view_connection_server>/admin
• Конфигурирование
• Начальные установки
• Глобальные настройки
• Подключение пользователей
• Управление десктопами
• vCenter ВМ с созданием
• Отдельные ВМ
• Blades, ПК
• СессииTerminal Services
• Local mode desktops
• Управление сессиями
• Подключение пакетов ThinApp
• Настройка репозиториев
• Назначение пакетов
64
65. Обычные шаблоны и View linked Clones
VMware View helps reduce
storage costs by up to 70%
+
10GB x 15 + 10GB +
500MB x 15 = 500MB + 500MB x 15 =
25GB
157.5GB
65
67. Подведем итоги: только VMware…
предлагает самую надежную платформу виртуализации
для создания облака.
может виртуализировать всю инфраструктуру
ЦОД и обеспечить безопасное добавление ресурсов
общедоступной облачной инфраструктуры.
предоставляет возможность поэтапно перейти к облачным
вычислениям, сохраняя полную свободу выбора.
обеспечивает модернизацию существующих приложений
и разработку приложений нового поколения.
гарантирует свободу для конечных пользователей
и контроль для ИТ-отдела.
сводит воедино обширную группу партнеров
по инфраструктуре, увеличивая ценность имеющихся
инвестиций.
67