OVH Community, your new community space.

BHS rede


oles@ovh.net
26-05-12, 20:12
Bom dia,

Falamos do prédio, da rede elétrica, das
torres e dos servidores para o BETA mas
"quais são as novidades" ao nível da rede
em BHS ?


Está a avançar. E cada semana, fica cada
vez melhor !

Atualmente, temos 3 pares de fibras entre
o nosso DC BHS e Montreal. Gerimos-os em
próprio e temos 2x80Gbps ligados. Decidimos
criar no nosso principal POP em Montreal no
Cologix 3 (ex Canix 3). Temos alguns racks,
2 routeurs e um "pequeno"60Gbps para
Nova Iorque/Toronto/Londres. Interessante :
Montreal/Londres não passa pelos USA mas em
direto pelo Canadá.

Trata-se da rede que nos permite fazer o ALPHA
e o BETA. Mais tarde iremos, claro, guardar-lo
para ter uma excelente coletividade para Montreal.

Em paralelo, trabalhamos na implementação de uma
rede alta capacidade e alta disponibilidade entre :
- BHS e Nova Iorque (sem passar por Montreal)
- BHS e Chicago (sem passar por Montreal)
O âmbito é de reduzir as latências (e então não
voltar para Montreal) e gerir grandes capacidades
de largura de banda entre o nosso DC em BHS e
os 2 principais POP nos USA : Nova Iorque, NY e
Chicago,IL.

Uma das nossas mais valias é a rede e a qualidade
da largura de banda. Conseguimos garantir este
serviço, porque compramos na Europa fibra negra,
escolhemos os equipamentos para ligar a fibra e
gerimos a rede com as nossas próprias equipas.

Visto que queremos reproduzir nos USA o business
model que fez o nosso sucesso na Europa, é-nos
indispensável operar diretamente as fibras óticas.

E não é simples. Porquê ? Porque os operados
locais não desejam vender-nos fibra e deixar
operar por nós próprios. Preferem operar a fibra
por nós e vender um serviço "managed". Claro
que há um problema de modelo económico (e
então de preço) mas sobretudo uma abordagem
que nos impede desfrutar das inovações
tecnológicas (como 100G coerente) e propor
aos nossos clientes.


Mas culturalmente, os operadores aqui não vendem
ou não comprem as fibras mas trocam-nas (swap)
com um ratio "1 metro contra 1 metro". É então
preciso investir em rede em próprio (fazer GC,
escavar) e depois propor as trocas de fibras
que nos interessam contra outras que possam
interessar outros operadores. Felizmente toda
a gente não se limita a fazer trocas...

Então ? Esta rede ?

Vamos assinar nos próximos dias um par
de fibra entre Montreal e Nova Iorque (via
Albany) com um operador que quer falar
connosco. Isto irá permitir-nos ligar a nossa
própria rede com 100G coerente e ligar o nosso
DC a Nova Iorque com uma capacidade inicial de
1Tbps. Esta rede deverá estar operacional em
Agosto/Setembro.

Em paralelo, estamos a falar com um operador
acerca de uma segunda rota (redundante) entre
Montreal e Nova Iorque. É uma discussão que
pode estar concluída dentro de 2 à 3 semanas
para uma rede funcional em Setembro. O âmbito
é de ter 2 rotas e redundância.

Como fazer redundância ?

Para garantir as redundâncias, uma das
soluções é de ter os circuitos 10G numa
das rotas e circuitos 10G na outra rota. E
ligar tudo aos routeurs. Com o protocolo
de roteamento OSPF/BGP, o routeur irá utilizar
o rota que está UP e se está DOWN, o routeur
irá voltar a calcular a rota a utilizar.

O problema desta solução é que funciona bem
em rede pequenas de 50-100G ms não no nosso
caso onde queremos 1Tbps para começar e
8Tbps a termo. Ligar 1Tbps de largura de banda
real significa ligar 2Tbps de capacidade. O que
significa 200x10G em vez de 100x 10G.
É uma solução muito cara visto que um circuito
10G custa e cada porta 10G num routeur
é muito caro. Mas sobretudo o routeur é
rapidamente limitado em número de portas por
chassis. O que quer dizer vários chassis de routeurs
e no final uma backbone complexa a gerir.

E nós, queremos uma backbone simples e barata.

A solução que desejamos implementar
consiste em utilizar 2 rotas óticas e fazer
o failover o nível ótico e não ao nível do
Ip nos routeurs. Ao nível 1 e não ao nível 3.
Ou seja que os 100x 10G que estão ligados aos
routeurs estão sempre UP e o sistema ótico
em cima utilizar uma ou outra rota ótica. Chama-se
"circuitos protegidos" e com 100G coerentes torna-se
abordável. i

É por isso que operar as fibras óticas em
próprio é necessário. Os equipamento óticos
nas 2 rotas devem ser todas da mesma marca
e deve comunicar juntas. Isto para passar a
rota ótica em < 200ms, caso haja uma avaria.

Continuemos na nossa rede.

Sempre em Montreal / Nova Iorque, estamos
a falar de uma 3ª rota com outro operador que
tem fibra entre a fronteira canadiana e Albany,NY
+ outro operador que tem a fibra entre Albany,NY
e Nova Iorque, NY. Uma 3ª escolha. Sabendo que
precisamos de 2 para garantir o SLA de 100%,
estamos muito bem

Do outro lado de Montreal, para Toronto,
é um pouco mais complicado, mesmo se temos
várias discussões em cursos. Pois, a lei exige
que para ser um operado no Canadá é preciso
que o operador seja a 80% canadiano residentes
no Canadá. Por isso há 4-5 grandes operados,
pouca concorrência e pouco investimento novo.
Os últimos datam de 1999-2001. Desde então os
operadores exploram as fibras que estão implementadas
e as guardam para eles.

Mas mesmo assim conseguimos estabelecer discussões
e continuar o nosso projeto. Num primeiro tempo numa
fibra ótica entre Montreal e Toronta via Ottawa com um
operador que queira propor-nos-a . Ainda não temos
nenhum timing visto que não é Toronto que nos interessa
mas Chicago,IL.

Entre Toronto e Chicago,IL há 2 rotas:
- via Buffalo,NJ
- via Detroit,MI
E é aí que tudo se complica muito. Na rota
entre Toronto e Detroit,MI como entre
Detroit,MI e Chicago,IL temos 3 operadores
que têm fibra e é a mesma coisa entre
Buffalo,NJ e Chicago,IL. Mas as discussões
são complexas. Idem na rota este
Toronto Buffalo,NJ. Porquê ?

Porque chegamos em rotas entre as 3 bolsas :
Nova Iorque,Toronto e Chicago. Estas rotas
que são muito curtas e diretas, por isso
"low latency" e utilizadas para o HFT
(High-Frequency Trading) que fazem trading
em alta velocidade. Servidores que passam
ordem nas bolsas para especular nas ordens
que outros passarem. Isto serve para calcular
as ordens e passa-las antes dos outros e
aproveitar da diferença em curso da bolsa
para ganhar dinheiro. Há empresas que
estão dispostas em pagar M$ para ganhar
alguns ns (si ns, não ms) e passar ordens
nas bolsas antes dos concorrentes para
especular. E então é muito complexo negociar
fibra negra nestas rotas porque é muito caro
e os operadores não querem novos concorrentes
(para continuar a ganhar dinheiro). Por isso os
problemas estão principalmente entre Toronto e
os USA.

É por isso que estamos a falar com vários operadores
numa co-construção de uma nova rede entre Montreal
e Toronto via A20, em vez de passar por Ottawa, Mesmo
se é um projeto sobre 2 anos é muito interessante porque
a rede em questão será mais curto e mais rápido. E também
mas redundante com o de Ottawa. Assim ser-nos-á também
possível fazer swaps.

E depois Nova Iorque e Chicago ?

Uma vez que estamos em Nova Iorque, NY e
Chicago,IL será um pouco mais simples negociar
fibra. Mesmo se os operadores compram e secam
o mercado da fibra negra (obrigando-os a propor
serviços managed) existem sempre operados cujo
a fibra negra é o business principal, ver único. Temos
então fibra entre Nova Iorque,NYe Ashburn,VA e
Chicago,IL. Termos também fibra entre Ashburn,VA -
Atlanta,GA - Miami,FL. Porquêi Miami ? Miami é um
ponto muito importante porque todos o operadores
da América do Sul chegam a Miami (Brasil, Argentina,
etc) e procuram fazer peer e trocar tráfego.


Porquê fibra em Miami ? Com 100G coerente é
possível puxar o sinal ótico sobre 3500km sem
ter de o regenerar. A tecnologia atual em 10G
(que utilizamos na Europa) permite fazer 700km
no máximo. O que queremos é gerar o sinal em
Montreal e puxa-lo até Miami sem ter de o gerar
novamente. E então sem custos inúteis e em baixa
latência. Uma verdadeira inovação no mundo da
telecomunicação sobretudo nos USA onde as
distâncias de costa a costa são de 7500km (a
distancia da fibra ótica). Regenerar o sinal ótico
com 10G todos os 700km, ou seja 10x contra
regenerar o sinal ótico de 100G todos os 3500km
ou seja 2x, são 10x mais largura de banda 5x mais
barato. O impacto no preço da largura de banda entre
Montreal e Los Angeles é direto : 50x mais barato. Ou
seja ter pelo mesmo preço 50x mais largura de banda.
Muito interessante.


E a nossa rede no meio disto ?

Na costa Oeste, os POPs que queremos atingir
com grandes capacidades de largura de banda
são Los Angeles,CA e Palo Alto,CA. Nestes 2 POPs
estão todos os operadores Asiáticos (Japão, China,
Singapura) e Austrália. Vamos poder ir até lá com
fibra quando o POP de Chicago,IL vai estar ligado
em direto de BHS. E até lá será com 10G.

Senão ?

Senão, temos várias dezenas de proposições
para os 10G em diferentes rotas. Proposições
de 10G standard como proposições onde nos
constroem uma rede managed. Custa um braço
mas existe e é uma carta no jogo que é interessante
a ter.

No final, a rede que queremos ter nos USA é a seguinte :
http://yfrog.com/z/h0l8uahj

Só isso

Pronto. Fazer a rede nunca foi simples. Se
fosse simples, toda a gente o faria. Se
fosse simples, não teríamos nenhuma
mais valia. Se não houvesse desafios a
fazer este projeto, não o estaríamos a fazer.
Resumindo, estávamos a procura de dificuldade
e de challenge, podemos agora dizer que o
encontramos

Visto o estado das discussões em 6 meses e
visto que cada semanada traz agora o seu
fluxo de (boas) noticias, sabemos que vamos
conseguir garantir aos nossos cliente grandes
capacidades de largura de banda, redundância
e então SLA 100% e baixas latências.

Amigavelmente,
Octave