23.5
বিশাল পরিমাণ ডেটা সরানো
internet বনাম VPN বনাম Direct Connect বনাম Snowball, আসল সংখ্যা ধরে হিসাব করে, আর তারপরও চলতে থাকা sync।
16 মিনিট পড়া + Animation
টিপস: ডটেড-আন্ডারলাইন করা যেকোনো শব্দে ট্যাপ বা Hover করলে তার অর্থ দেখবে।
এই লেসন শেষে তুমি যা পারবে
- কোনো একটা link-এ transfer-এ কত সময় লাগবে, দশমিক একক আর bit ধরে হিসাব করতে পারবে, আর বুঝবে আসল সংখ্যা কেন সবসময় বইয়ের সংখ্যার চেয়ে খারাপ হয় (protocol-এর overhead, ভাগাভাগির line, বারবার নতুন করে শুরু, bit-এর জায়গায় byte বসানোর ভুল)।
- Slide-এর চেনা উদাহরণটা নিজে কষে দেখতে পারবে (১০০ Mbps-এ ২০০ TB, ১ Gbps Direct Connect-এ, আর Snowball-এ), সাথে বাংলাদেশের মাপের তিনটা ঘটনা: একটা television archive, একটা bank-এর petabyte, আর প্রতিদিনের বিশাল বদল।
- Online পদ্ধতিগুলো (DataSync সহ internet, Site-to-Site VPN, Direct Connect, S3 Transfer Acceleration) আর offline পদ্ধতি (Snowball) পাশাপাশি রেখে তুলনা করতে পারবে: setup-এর সময়, গতি, encryption আর খরচ।
- একটা আসল migration দুই ভাগে সাজাতে পারবে: একবারের bulk copy, তারপর cutover পর্যন্ত VPN বা Direct Connect-এর ওপর DataSync বা DMS দিয়ে চলমান sync।
- পরীক্ষার keyword ধরতে পারবে (“internet-এ কয়েক সপ্তাহ”, “petabyte”, “setup-এর জন্য এক মাস অপেক্ষা করা যায়”, “সারা পৃথিবীর user এক bucket-এ upload করে”), আর জানবে প্রশ্নগুলো লেখার পর Snow Family-র গল্পের কোন অংশ বদলে গেছে।
#এই লেসন কোথায় বসে
এই chapter-এর আগের চারটা লেসনে আমরা server আর database সরিয়েছি। প্রতিটা সরানোই আগে বা পরে একই দেয়ালে ধাক্কা খায়: data-টাকে তো তোমার building থেকে একটা AWS Region-এ পৌঁছাতে হবে, আর সেটা হতে পারে কয়েক terabyte বা petabyte। এই লেসন সেই দেয়াল নিয়ে, আর এটা সংখ্যার লেসন: পরীক্ষা তোমাকে data-র মাপ আর link-এর গতি দেবে, আর আশা করবে service বাছার আগে তুমি হিসাবটা করে নেবে।
Tool-গুলো নিজেরা অন্য জায়গায় শেখানো হয়েছে, তাই এখানে শুধু তুলনা করব আর পেছনে ফিরিয়ে দেখাব:
- Snowball Edge, তার job-এর জীবনচক্র আর আজকের অবস্থা: লেসন ১২.১। S3-এ bulk data নেওয়ার পথগুলো (DataSync, Snowball, Transfer Acceleration): লেসন ১০.১১। DataSync বিস্তারিত: লেসন ১২.৪।
- Network হিসেবে Site-to-Site VPN আর Direct Connect: লেসন ২২.৪ আর লেসন ২২.৫। এখানে এরা শুধু একেকটা নল, যার একটা গতি আর একটা setup-এর সময় আছে।
- Database-এর জন্য DMS আর change data capture: লেসন ২৩.৩। পুরো server-এর জন্য MGN: লেসন ২৩.৪।
Note পদ্ধতিগুলোকে ঠিক পরীক্ষার মতোই দুই ভাগ করেছে: network দিয়ে (online) আর offline (physical)। আমরা শুরু করব হিসাব দিয়ে, কারণ কোনটা বাছবে সেটা হিসাবই ঠিক করে দেয়।
#আগে সবসময় অঙ্কটা কষো
#Bit, byte আর দশমিক একক
একটা সূত্রই পুরো কাজ করে:
transfer-এর সময় = bit-এ data ÷ প্রতি second-এ ব্যবহারযোগ্য bit
তিনটা কথা মাথায় রাখলে উত্তর ঠিক আসবে:
- Link বিক্রি হয় প্রতি second-এ bit হিসেবে (Mbps, Gbps)। Data মাপা হয় byte-এ (GB, TB)। এক byte মানে ৮ bit, তাই ১০০ Mbps আসলে বয় মাত্র প্রতি second-এ ১২.৫ MB, আর ১ Gbps বয় ১২৫ MB/s।
- দশমিক একক ব্যবহার করো, network আর পরীক্ষা যেমন করে: ১ TB = ১,০০০ GB = ১০,০০,০০০ MB, তাই ১ TB = ৮,০০০ gigabit = ৮০,০০,০০০ megabit। ১ PB = ১,০০০ TB।
- একদিনে ৮৬,৪০০ second। Second-কে ৮৬,৪০০ দিয়ে ভাগ করলে দিন।
মাথায় রাখার মতো একটা সহজ হিসাব: ১০০ Mbps-এর একটা line দিনে বড়জোর মোটামুটি ১ TB বয় (১০০ Mbps × ৮৬,৪০০ s = ৮৬,৪০,০০০ megabit = ১.০৮ TB)। ১ Gbps line দিনে প্রায় ১০.৮ TB, আর ১০ Gbps প্রায় ১০৮ TB। নিচের সব হিসাব এই কথাটাকেই বড়-ছোট করা।
#Slide-এর উদাহরণ, কষে দেখা
চেনা ঘটনাটা: ২০০ TB AWS-এ নিতে হবে, আর company-র আছে ১০০ Mbps-এর একটা internet connection।
Internet বা Site-to-Site VPN দিয়ে।
- ধাপ ১: Megabit-এ data: ২০০ TB × ১,০০০ GB × ১,০০০ MB × ৮ = ১,৬০,০০,০০,০০০ megabit।
- ধাপ ২: Link দিয়ে ভাগ: ১,৬০,০০,০০,০০০ ÷ ১০০ Mbps = ১,৬০,০০,০০০ second।
- ধাপ ৩: দিনে নাও: ১,৬০,০০,০০০ ÷ ৮৬,৪০০ = প্রায় ১৮৫ দিন, মানে ছয় মাস।
Setup-এর সময় শূন্য: line আগে থেকেই আছে, VPN একই দিনে চালু হয়ে যায়। কিন্তু VPN line-কে চওড়া করে না: সে শুধু একই internet traffic-কে encrypt করে।
১ Gbps Direct Connect দিয়ে।
- ধাপ ১: Gigabit-এ data: ২০০ × ১,০০০ × ৮ = ১৬,০০,০০০ gigabit।
- ধাপ ২: Link দিয়ে ভাগ: ১৬,০০,০০০ ÷ ১ Gbps = ১৬,০০,০০০ second।
- ধাপ ৩: দিনে নাও: প্রায় ১৮.৫ দিন।
কিন্তু আগে তো line-টা থাকতে হবে। Slide বলে একবারের setup-এ এক মাসের বেশি লাগে; AWS-এর নিজের hybrid connectivity-র নির্দেশনা বলে, একদম নতুন dedicated connection-এ সাধারণত কয়েক সপ্তাহ থেকে কয়েক মাস লাগে। তাই order দেওয়ার দিন থেকে ধরলে মোটামুটি ৫০ দিন বা তার বেশি।
Snowball দিয়ে। Transfer-টার জন্য শুরু থেকে শেষ মোটামুটি এক সপ্তাহ: device আসে, local network-এ দুই-এক দিনে ভরা হয় (১ GB/s-এর কাছাকাছি গতিতে ২০০ TB লাগে প্রায় ২.৩ দিন), ফেরত যায়, import হয়। Slide আরও বলে, database-এর জন্য এটা DMS-এর সাথে মেলানো যায়; সেটা নিচে দেখব।
| পদ্ধতি | Setup | ২০০ TB-র transfer | Order থেকে AWS-এ data পৌঁছানো পর্যন্ত |
|---|---|---|---|
| Internet / Site-to-Site VPN, ১০০ Mbps | লাগে না | প্রায় ১৮৫ দিন | প্রায় ১৮৫ দিন |
| Direct Connect, ১ Gbps | এক মাসের বেশি | প্রায় ১৮.৫ দিন | প্রায় ৫০ দিন |
| Snowball Edge (একটা ২১০ TB device) | order আর তৈরি | সাইটে ২-৩ দিন copy | মোটামুটি এক সপ্তাহ (তৈরিতে দেরি হলে আরও বেশি) |
এই table-টাই ছোট করে পুরো লেসন: internet আজই শুরু হয় কিন্তু দেরিতে শেষ হয়, Direct Connect দ্রুত কিন্তু দেরিতে শুরু হয়, Snowball তারটাকেই এড়িয়ে যায়।
#আসল সংখ্যা কেন আরও খারাপ
Slide-এর সংখ্যা ধরে নেয়, line ছয় মাস ধরে পুরো ১০০% গতিতে তোমার data বয়ে যাবে। তা কখনো হয় না:
- Protocol-এর overhead। প্রতিটা packet-এ থাকে TCP/IP header, copy tool যোগ করে TLS, VPN যোগ করে IPsec header। হারানো packet আবার পাঠাতে হয়।
- আসল ব্যবহার। নিজস্ব line হলে মোটামুটি ৮০% ধরে পরিকল্পনা করো। ১৮৫ দিন ÷ ০.৮ = প্রায় ২৩১ দিন।
- ভাগাভাগির line। দিনে অফিসের line লাগলে সকাল ৯টা থেকে বিকেল ৫টা copy হয়তো পায় অর্ধেক। দিনে ৫০ Mbps আর রাতে ৮০ Mbps মিলিয়ে গড়ে প্রায় ৬০ Mbps: প্রায় ৩০০ দিন।
- বিভ্রাট আর নতুন করে শুরু। কয়েক মাসে line কাটবেই; ভালো tool (DataSync) যেখানে থেমেছিল সেখান থেকে চালায় আর মিলিয়ে দেখে, নিজে লেখা script হয়তো file-টা আবার গোড়া থেকে শুরু করে।
- Source-এ binary একক। Storage-এর tool প্রায়ই দেখায় TiB (২^৪০ byte, প্রায় ১.১ TB)। NAS-এর পর্দায় “২০০ TiB” মানে তারে প্রায় ২২০ TB: সময় ১০% বেশি।
- Bit-এর জায়গায় byte-এর ভুল। ২০০ TB ÷ “১০০ MB/s” = ২০,০০,০০০ s = ২৩ দিন। ৮ গুণ ভুল, আর পরীক্ষার প্রশ্নে এটা একটা চেনা ভুল option।
নিজেকে যাচাই করোপ্রশ্ন
একটা company-কে একবার ৫০ TB Amazon S3-এ নিতে হবে, নিজস্ব ৫০০ Mbps line-এ, যার মোটামুটি ৮০% ব্যবহার করা যাবে। Network-এ মোটামুটি কত সময় লাগবে?
তার দিয়ে ২০০ TB: internet, VPN নাকি Direct Connect
ঢাকার একটা company-কে ২০০ TB-র একটা file archive ap-southeast-1 (Singapore)-এর S3-এ তুলতে হবে। আজ তাদের হাতে ১০০ Mbps-এর একটা internet line, চাইলে ১ Gbps-এর একটা Direct Connect order দেওয়া যায়। Data আর হিসাব, দুটোর পেছনেই চলো।
পরিস্থিতি
আজই শুরু করা যায়, কিন্তু ১০০ Mbps-এর নলে ২০০ TB যেতে লাগে প্রায় ছয় মাস।
Transfer-এর হিসাব
| Data | ব্যবহারযোগ্য গতি | Setup | Transfer-এর সময় |
|---|---|---|---|
| 200 TB | 100 Mbps | লাগে না | ? |
Line তো আগে থেকেই আছে, order দেওয়ার কিছু নেই: file server-এর পাশে একটা DataSync agent বসাও, বা একটা Site-to-Site VPN খোলো, আজ বিকেলেই copy শুরু। Internet পথের একটাই বড় সুবিধা: setup-এ কোনো সময় লাগে না।
#Online পদ্ধতিগুলো
Note network দিয়ে data নেওয়ার চারটা উপায়ের কথা বলে। প্রতিটা পরীক্ষার আলাদা একেকটা keyword-এর উত্তর।
#AWS DataSync: copy-র ইঞ্জিন
DataSync নিজে কোনো নল না, বরং নলটা যে ব্যবহার করে সেই tool। একটা agent (তোমার storage-এর পাশে একটা virtual machine) পড়ে NFS, SMB, HDFS বা S3-এর মতো object storage, অন্য cloud-এর storage-ও পড়া যায়; service লেখে S3, EFS বা যেকোনো FSx file system-এ। কী বদলেছে দেখে শুধু সেটুকু copy করে, শেষে মিলিয়ে দেখে, file-এর metadata রাখে, পথে TLS দিয়ে encrypt করে, আর নির্দিষ্ট সময় ধরে চলে। Agent থাকলে একটা task ১০ Gbps পর্যন্ত বইতে পারে। যে link আছে তার ওপরেই চলে: internet, VPN বা Direct Connect।
পরীক্ষার keyword (note থেকে): “on-premises storage থেকে AWS storage-এ automated, scheduled online data transfer” → DataSync। বিস্তারিত আর দাম: লেসন ১২.৪।
#Site-to-Site VPN
তোমার router আর AWS-এর মাঝে internet-এর ওপর দিয়ে একটা IPsec tunnel। Note এর যে চেহারা দেয়, সেটা এখনও ঠিক:
- Setup দ্রুত: কয়েক মিনিট থেকে কয়েক ঘণ্টা, কোনো carrier বা চুক্তি লাগে না।
- নকশাতেই encrypted।
- গতি internet-এর: তোমার line-এর চেয়ে বেশি না, আর internet-এর ভিড়ে ওঠানামা করে।
- আরেকটা ছাদ, যেটা note বলেনি: একটা standard tunnel বড়জোর প্রায় ১.২৫ Gbps বয়। নভেম্বর ২০২৫ থেকে transit gateway বা Cloud WAN-এ ৫ Gbps পর্যন্ত large bandwidth tunnel আছে, আর কয়েকটা tunnel একসাথেও চালানো যায় (লেসন ২২.৪)।
যখন encryption দরকার, আজই শুরু করতে হবে, আর data-র পরিমাণ line-এ আঁটে, তখন এটা।
#AWS Direct Connect
তোমার জায়গা থেকে AWS পর্যন্ত একটা private, নিজস্ব line, যা কখনো public internet দিয়ে যায় না। Note এর শক্তি আর একটা ফাঁদ, দুটোই বলে:
- দ্রুত আর স্থির: ১, ১০, ১০০ বা ৪০০ Gbps-এর dedicated port, বা partner-এর কাছ থেকে ছোট hosted connection; internet-এর ভিড়ে latency আর গতি দোলে না।
- Setup ধীর: একদম নতুন dedicated connection-এ সাধারণত কয়েক সপ্তাহ থেকে কয়েক মাস; partner-এর আগে থেকে থাকা port-এ hosted connection কয়েক দিনেও হয়ে যেতে পারে।
- নিজে থেকে তোমার link-এ encrypted না। Note যে সংশোধনটা বাদ দিয়েছে: encrypt করতে চাইলে MACsec (১০, ১০০ আর ৪০০ Gbps dedicated connection-এ) ব্যবহার করো, অথবা Direct Connect-এর ওপর দিয়ে IPsec VPN চালাও। দুটোই বানানো হয়েছে লেসন ২২.৫-এ।
- Internet-এর চেয়ে data transfer out-এর খরচ কম, আর migration-এর পরেও line কাজে লাগতে থাকে।
পরীক্ষার keyword: “dedicated private connection দরকার, কিন্তু setup-এর জন্য এক মাস অপেক্ষা করা যায়” → Direct Connect।
#S3 Transfer Acceleration
এটা অন্য সমস্যার জন্য: bucket থেকে অনেক দূরে থাকা অনেক মানুষ। Upload AWS-এর network-এ ঢোকে সবচেয়ে কাছের edge location-এ (CloudFront network), তারপর AWS backbone ধরে bucket-এর Region-এ যায়, public internet-এর লম্বা পথে না। এটা দূরত্বের সমস্যা কমায়, তোমার নিজের line না: ১০০ Mbps-এর অফিস তখনও ১০০ Mbps-ই পাঠায়। প্রতি GB-তে একটা বাড়তি fee লাগে, তাও শুধু তখন যখন transfer সত্যিই দ্রুত হয়েছে। বিস্তারিত: লেসন ১০.১১।
পরীক্ষার keyword: “সারা পৃথিবীর user একটা S3 bucket-এ বড় file upload করে” → S3 Transfer Acceleration।
#Online পদ্ধতিগুলো পাশাপাশি
| Internet + DataSync | Site-to-Site VPN | Direct Connect | S3 Transfer Acceleration | |
|---|---|---|---|---|
| Setup | লাগে না | কয়েক মিনিট থেকে কয়েক ঘণ্টা | কয়েক সপ্তাহ থেকে কয়েক মাস (আগে থেকে থাকা port-এ hosted হলে কয়েক দিন) | bucket-এর একটা setting |
| গতি | তোমার line | তোমার line, standard tunnel-এ প্রায় ১.২৫ Gbps পর্যন্ত | port-এর মাপে: ১ থেকে ৪০০ Gbps, স্থির | তোমার line, দূরত্বে কম loss |
| Encrypted | DataSync-এর TLS | হ্যাঁ, IPsec | না, যদি না MACsec বা ওপরে VPN থাকে | HTTPS |
| পরীক্ষার keyword | NFS/SMB থেকে scheduled, automated sync | দ্রুত, encrypted, internet দিয়ে | private, স্থির, setup-এর জন্য অপেক্ষা করা যায় | সারা পৃথিবীর user, এক bucket |
#Offline পদ্ধতি: Snowball
Data-র পরিমাণের তুলনায় line যখন খুব ধীর, খুব ভাগাভাগির বা খুব দামি, তখন data একটা বাক্সে ভরে পাঠিয়ে দাও। Note তিনটা device-এর কথা বলে, আর অনেক প্রশ্ন এখনও সেভাবেই লেখা:
| Note যা বলে | আজ যা সত্যি (নভেম্বর ২০২৬-এ যাচাই করা) |
|---|---|
| Snowcone: ছোট (৮ TB), বহনযোগ্য | নভেম্বর ২০২৪-এ বন্ধ |
| Snowball Edge: বড় data, ৮০ TB পর্যন্ত | ৮০ TB-র model আর নেই; Storage Optimized device-এ ২১০ TB। ৭ নভেম্বর ২০২৫ থেকে Snowball Edge নতুন customer নেয় না, আর commercial Region-এ ৩১ ডিসেম্বর ২০২৬-এ AWS support বন্ধ করছে |
| Snowmobile: petabyte থেকে exabyte, একটা আস্ত trailer truck | ২০২৪-এ বন্ধ। প্রতি truck-এ ১০০ PB পর্যন্ত ধরত; “exabyte” মানে ছিল কয়েকটা truck |
নতুন customer-দের AWS পাঠায় বড় link-এর ওপর DataSync-এ (যেমন কিছুদিনের জন্য একটা hosted Direct Connect) আর AWS Data Transfer Terminal-এ: physical জায়গা, ফেব্রুয়ারি ২০২৬-এর পর ১১টা, যুক্তরাষ্ট্র, ইউরোপ, Sydney আর Tokyo-তে, যেখানে নিজের drive নিয়ে গিয়ে খুব দ্রুত fibre-এ upload করা যায়। Device-এর খুঁটিনাটি, দাম আর job-এর ধাপ আছে লেসন ১২.১-এ; এখানে আবার বলার দরকার নেই।
#“এক সপ্তাহের বেশি” নিয়মটা আসলে মোটা দাগের হিসাব
Note এটাকে AWS-এর নিয়ম বলে: network-এ এক সপ্তাহের বেশি লাগলে Snow Family ব্যবহার করো। এটা একটা পড়াশোনার মোটা দাগের হিসাব, AWS-এর কোনো আনুষ্ঠানিক নিয়ম না। এসেছে AWS-এর পুরনো একটা পরামর্শ থেকে, যে network-এ মোটামুটি এক সপ্তাহের বেশি লাগলে device ভাবা উচিত, আর এই কারণে যে একটা Snowball-এর আসা-যাওয়ায় মোটামুটি এক সপ্তাহ লাগত। পরীক্ষার প্রশ্নে এটা এখনও কাজ করে। বাস্তবে নিয়মটা যে তিনটা জিনিস চাপা দেয় সেগুলোও মাপো: device তৈরিতে ৪ সপ্তাহ পর্যন্ত লাগতে পারে; মোটা নিজস্ব link যেকোনো courier-কে হারায় (১০ Gbps-এ ৮০% ধরে ৬০ TB যায় ১৭ ঘণ্টারও কমে); আর প্রতিদিনের স্থির স্রোত কোনো device দিয়ে কখনো সামলানো যায় না।
#একবারের bulk, তারপর চলমান sync
আসল migration-এ data সরানোর সময় ব্যবসা প্রায় কখনো থামে না। Slide-এর শেষ কথাটাই সেই ধরন, যা প্রতিটা বড় migration মেনে চলে:
একবার bulk copy
বড়, মোটামুটি স্থির অংশটা সরাও: archive, file share, database-এর table। তার খুব ধীর হলে Snowball-এ, না হলে Direct Connect-এর ওপর DataSync-এ।
বদলগুলো ধরে রাখতে থাকো
Bulk copy শুরুর মুহূর্ত থেকেই মূল data বদলাতে থাকে। File-এর জন্য DataSync নিয়ম করে চলে আর শুধু বদলানো অংশ copy করে। Database-এর জন্য DMS তার change data capture দিয়ে প্রতিটা বদল লিখে রাখে আর পরে চালায় (লেসন ২৩.৩)।
VPN বা Direct Connect-এর ওপর চলমান replication
বদলগুলো তারের জন্য যথেষ্ট ছোট: DMS বা DataSync সহ Site-to-Site VPN বা Direct Connect, ঠিক যেমন slide বলে।
Cutover
কয়েক মিনিটের জন্য লেখা বন্ধ রাখো, শেষ sync চালাও, সংখ্যা আর checksum মিলিয়ে দেখো, user বা application-কে AWS-এ পাঠাও। নিশ্চিত না হওয়া পর্যন্ত পুরনো copy রেখে দাও।
Database-এর bulk-ও device-এ যেতে পারে: SCT-এর data extraction agent table-গুলো Snowball Edge-এ লেখে, AWS সেগুলো S3 হয়ে target-এ (সাধারণত Redshift) তোলে, আর এর মধ্যে জমা বদলগুলো DMS চালিয়ে দেয়। “Snowball-কে DMS-এর সাথে মেলানো যায়” মানে এটাই।
Snowball-এ bulk copy, তারপর sync চালু রাখা
একবারের বিশাল অংশটা যায় বাক্সে, আর যে বদলগুলো চলতেই থাকে সেগুলো যায় তারে। একটা আসল migration-এর দুই অর্ধেকই দেখো, আর একটা অর্ধেক বাদ পড়লে কী ভাঙে।
পরিস্থিতি
স্বাভাবিক দুই ধাপের migration: বিশাল অংশ device-এ, তারপর cutover পর্যন্ত একটু একটু করে sync।
Archive ২০০ TB, line ১০০ Mbps: তারে ১৮৫ দিন। তাই team একটা Snowball Edge Storage Optimized (২১০ TB) order দেয়। আগেভাগে দাও: AWS সাবধান করে, device তৈরি করতে ৪ সপ্তাহ পর্যন্ত লাগতে পারে।
#সংখ্যা ধরে বাছাই
এবার সব একসাথে। যেকোনো প্রশ্নে এই ক্রমে চারটা জিনিসের উত্তর দাও: কত data, line কত দ্রুত, কত দিন অপেক্ষা করা যায়, আর data কি বদলাতেই থাকে?
Internet, VPN, Direct Connect নাকি Snowball? Transfer-এর সময়ের হিসাব
কত data, আজ কোন line আছে, line-এর কতটা copy পাবে, কোন Direct Connect পাওয়া যেত আর সেটা আসতে কত দিন লাগত, আর তারপর প্রতিদিন কত data বদলায়, বেছে নাও। Calculate চাপলে পদ্ধতিগুলোর দৌড় শুরু।
একবারে কত data সরাতে হবে
আজকের internet line (VPN-ও এর ওপর দিয়েই)
Line-এর কতটা copy পাবে
Direct Connect port
Direct Connect চালু হতে কত দিন
Bulk copy-র পরে প্রতিদিন কত data বদলায়
এখনও কিছু হিসাব হয়নি। ঘরগুলো বেছে নিয়ে Calculate চাপো।
Calculator যা শেখায়, চার কথায়:
- মোটামুটি ভালো line-এ অল্প data: সোজা পাঠিয়ে দাও (DataSync বা VPN); অন্য কিছুর setup-এর ঝামেলা পোষায় না।
- ধীর line-এ বিশাল data, একবার: device তারকে হারায়; পরীক্ষার উত্তর Snowball।
- বিশাল data আর যে line থেকে যাবে: Direct Connect, আসতে কয়েক সপ্তাহ লাগলেও।
- প্রতিদিনের স্থির স্রোত: শুধু line-ই হিসাবে আসে; এমন মাপের line নাও যাতে একদিনের বদল একদিনের অনেক আগেই চলে যায়।
#কোথায় গোলমাল হয়
| লক্ষণ | সম্ভাব্য কারণ | সমাধান |
|---|---|---|
| পরিকল্পনায় ছিল ২৩ দিন; দুই মাস পরেও copy চলছে | Byte-কে bit দিয়ে ভাগ: ৮-টা ভুলে গেছে | Bit-এ আবার হিসাব করো; ১০০ Mbps মানে ১২.৫ MB/s |
| Copy হিসাবের চেয়ে ৩০% ধীর | Overhead আর অন্য traffic; line ১০০% ফাঁকা ধরে নেওয়া হয়েছিল | ৮০% ধরে পরিকল্পনা (ভাগাভাগির line-এ আরও কম); copy রাতে চালাও, বা দিনে DataSync-এর bandwidth limit দাও |
| ১০ Gbps internet line-এ data যায় প্রায় ১ Gbps-এ | সব যাচ্ছে একটা standard VPN tunnel দিয়ে (প্রায় ১.২৫ Gbps) | Large bandwidth tunnel, কয়েকটা tunnel, বা VPN ছাড়া TLS-সহ DataSync |
| Migration-এর পরিকল্পনা Direct Connect ধরে, কিন্তু শুরুর দিনে line নেই | নতুন dedicated connection-এ কয়েক সপ্তাহ থেকে কয়েক মাস লাগে | আগেভাগে order দাও; partner-এর hosted connection দ্রুত হতে পারে; bulk অন্য পথে শুরু করো |
| Snowball import-এর পরে user কয়েক দিনের পুরনো file দেখে | Device একদিনের ছবি এনেছিল; delta sync ছিল না | Cutover পর্যন্ত DataSync-এর incremental run বা DMS CDC |
| প্রতিদিনের data-র জমা দিন দিন বাড়ছে | Line একদিনের বদল একদিনে বইতে পারে না | বড় line বা Direct Connect; device স্রোতের সমাধান না |
| Auditor Direct Connect link-কে unencrypted বলে চিহ্নিত করেছে | নিজে থেকে Direct Connect তোমার traffic encrypt করে না | সমর্থিত dedicated port-এ MACsec, বা Direct Connect-এর ওপর IPsec VPN |
| Transfer Acceleration-এ কোনো পার্থক্য হলো না | User-রা Region-এর কাছেই, বা অফিসের line-টাই সীমা | শুধু দূরের user-দের জন্য ব্যবহার করো; line ঠিক করো বা DataSync নাও |
| নতুন account Snowball job বানাতে পারে না, বা বাংলাদেশে device আসবে না | ৭ নভেম্বর ২০২৫ থেকে নতুন customer বন্ধ; device যায় শুধু Region-এর দেশগুলোর ভেতরে | বড় অস্থায়ী link-এ DataSync, partner, বা AWS Data Transfer Terminal |
#System design-এ
- প্রতিটা migration plan শুরু হয় transfer-এর বাজেট দিয়ে। MGN, DMS বা অন্য কিছু বাছার আগে হিসাব করো প্রতিটা পথে data-র কত সময় লাগবে, setup আর প্রতিদিনের বদল সহ।
- দুটো line, দুটো কাজ। খুব চেনা একটা hybrid design: স্থির traffic-এর জন্য Direct Connect, আর encrypted backup পথ হিসেবে একটা Site-to-Site VPN (লেসন ২২.৫)।
- Line-এর মাপ ঠিক করো স্রোত দেখে, bulk দেখে না। Bulk হয় একবার; প্রতিদিনের বদল চলে চিরকাল। Line যদি একদিনের বদল একদিনে বইতে না পারে, bulk যেভাবেই যাক design ভুল।
- মিলিয়ে দেখা transfer-এরই অংশ। DataSync নিজে মিলিয়ে দেখে; device-এর ক্ষেত্রে import-এর পরে object-এর সংখ্যা আর checksum মেলাও; মেলা না পর্যন্ত মূল data রেখে দাও।
- ২০২৬-এর পরে যা থাকবে, সেটা ধরে পরিকল্পনা। লম্বা project-এ DataSync, Direct Connect আর Data Transfer Terminal দিয়ে design করো, আর Snowball-কে পরীক্ষার জ্ঞান হিসেবে রাখো।
#নিজে করে দেখো
প্রথমে অঙ্ক। bc আছে এমন যেকোনো shell (বা একটা calculator) হলেই চলবে:
# Days to move 200 TB over 100 Mbps at 100% and 80%
echo "200*8000*1000 / 100 / 86400" | bc -l # megabits ÷ Mbps ÷ s/day
# 185.18518518518518518518
echo "200*8000*1000 / (100*0.8) / 86400" | bc -l
# 231.48148148148148148148
# Over a 1 Gbps Direct Connect (gigabits ÷ Gbps)
echo "200*8000 / 1 / 86400" | bc -l
# 18.51851851851851851851
# How much a line carries per day, in TB (200 Mbps at 80%)
echo "0.2*0.8*86400 / 8000" | bc -l
# 1.72800000000000000000
যে link আছে তার ওপর একটা DataSync task, অফিসের সময়ের জন্য bandwidth limit সহ (ID-গুলো উদাহরণ):
# Locations were created before: the NFS share (through the agent) and the bucket
aws datasync create-task \
--source-location-arn arn:aws:datasync:ap-southeast-1:111122223333:location/loc-0abc1234example1 \
--destination-location-arn arn:aws:datasync:ap-southeast-1:111122223333:location/loc-0def5678example2 \
--name archive-to-s3 \
--options VerifyMode=ONLY_FILES_TRANSFERRED,TransferMode=CHANGED,BytesPerSecond=6250000 \
--schedule ScheduleExpression="cron(0 20 * * ? *)"
# { "TaskArn": "arn:aws:datasync:ap-southeast-1:111122223333:task/task-0123456789abcdef0" }
# BytesPerSecond=6250000 is 50 Mbps: the copy leaves the rest of a 100 Mbps line to the office
aws datasync start-task-execution \
--task-arn arn:aws:datasync:ap-southeast-1:111122223333:task/task-0123456789abcdef0
# { "TaskExecutionArn": ".../task-0123456789abcdef0/execution/exec-0a1b2c3d4e5f60718" }
দূরের uploader-দের জন্য Transfer Acceleration:
aws s3api put-bucket-accelerate-configuration \
--bucket media-uploads-example --accelerate-configuration Status=Enabled
aws s3 cp ./clip.mp4 s3://media-uploads-example/raw/ --endpoint-url https://s3-accelerate.amazonaws.com
আর একটা Snowball import job, শুধু সেই account-গুলোর জন্য যাদের এখনও access আছে (পুরো ধাপ লেসন ১২.১-এ):
aws snowball create-job --job-type IMPORT --snowball-type V3_5S --snowball-capacity-preference T240 \
--resources '{"S3Resources":[{"BucketArn":"arn:aws:s3:::archive-import-example"}]}' \
--address-id ADID1a2b3c4d-1111-2222-3333-444455556666 \
--role-arn arn:aws:iam::111122223333:role/SnowballImportRole \
--shipping-option SECOND_DAY
# { "JobId": "JID123e4567-e89b-12d3-a456-426655440000" }
#সারসংক্ষেপ
মূল কথাগুলো
- সময় = bit ÷ প্রতি second-এ ব্যবহারযোগ্য bit। ১ TB = ৮,০০০ gigabit; একদিন = ৮৬,৪০০ s; ১০০ Mbps ≈ দিনে ১ TB, ১ Gbps ≈ দিনে ১০.৮ TB। Byte-কে ৮ দিয়ে গুণ করো।
- Slide-এর ২০০ TB: ১০০ Mbps internet বা VPN-এ ১৮৫ দিন (setup লাগে না), ১ Gbps Direct Connect-এ ১৮.৫ দিন (সাথে এক মাসের বেশি setup), Snowball-এ মোটামুটি এক সপ্তাহ। আসল সংখ্যা আরও খারাপ: ৮০% ধরে পরিকল্পনা করো, ভাগাভাগির line-এ আরও কম।
- VPN: দ্রুত, encrypted, internet-এর গতি, standard tunnel-এ প্রায় ১.২৫ Gbps (২০২৫ থেকে ৫ Gbps-এর large tunnel)। Direct Connect: private, স্থির, setup-এ কয়েক সপ্তাহ থেকে কয়েক মাস, নিজে থেকে encrypted না (MACsec বা DX-এর ওপর VPN)। DataSync: যেকোনো link-এর ওপর scheduled, যাচাই করা copy। Transfer Acceleration: দূরের user, এক bucket।
- Offline: network-এ কয়েক সপ্তাহ লাগার মতো পরিমাণের জন্য Snowball Edge। Snowmobile বন্ধ (২০২৪), Snowcone বন্ধ (২০২৪), Snowball নতুন customer নেয় না (নভেম্বর ২০২৫), support শেষ ৩১ ডিসেম্বর ২০২৬; পরীক্ষা তবুও Snowball-ই চায়।
- “এক সপ্তাহের বেশি → Snow” পড়াশোনার মোটা দাগের হিসাব, AWS-এর নিয়ম না।
- আসল migration মানে bulk + চলমান sync: bulk-এর জন্য Snowball (বা DX-এর ওপর DataSync), তারপর cutover পর্যন্ত VPN বা Direct Connect-এর ওপর DMS বা DataSync। Device একবারের bulk-এর সমাধান করে, প্রতিদিনের স্রোতের কখনো না।
আগে নিজে উত্তর দাও, তারপর ব্যাখ্যাটা পড়ো। ঠিক হলেও পড়ো, কারণ ভুল Option-গুলো কেন ভুল, সেটাও ওখানে আছে।
নিজেকে যাচাই করোপ্রশ্ন
Network-এর হিসাবে যে দশমিক একক ব্যবহার হয়, তাতে ১ TB-তে কত gigabit?
নিজেকে যাচাই করোপ্রশ্ন
পুরো গতিতে চললে একটা ১০০ Mbps line একদিনে মোটামুটি কত data বইতে পারে?
নিজেকে যাচাই করোপ্রশ্ন
Slide-এর সংখ্যা ধরে, পুরো গতিতে ১০০ Mbps internet connection-এ ২০০ TB যেতে কত সময় লাগে?
নিজেকে যাচাই করোপ্রশ্ন
Bulk migration-এর জন্য Site-to-Site VPN নিয়ে কোন কথাটা ঠিক?
নিজেকে যাচাই করোপ্রশ্ন
একটা company-র migration আর তার পরের hybrid বছরগুলোর জন্য স্থির network performance সহ একটা dedicated private connection দরকার। Connection-এর জন্য তারা এক-দুই মাস অপেক্ষা করতে পারে। কোনটা বাছবে?
নিজেকে যাচাই করোপ্রশ্ন
একটা media company-র editor চার মহাদেশে, সবাই us-east-1-এর একটা S3 bucket-এ বড় video file upload করে। এশিয়া থেকে upload ধীর। সবচেয়ে সহজ সমাধান কী?
নিজেকে যাচাই করোপ্রশ্ন
On-premises-এর একটা NFS file server প্রতি রাতে নিজে নিজে Amazon EFS-এ copy হতে হবে, শুধু বদলানো file যাবে আর copy মিলিয়ে দেখা হবে। কোন service মানায়?
নিজেকে যাচাই করোপ্রশ্ন
একটা company-কে একবার ৪০০ TB S3-এ নিতে হবে। Migration-এর সময় তাদের ১ Gbps line-এর মোটামুটি ৫০% ব্যবহার করা যাবে। AWS-এর সাথে লম্বা সময়ের connection তাদের দরকার নেই। পরীক্ষার সবচেয়ে ভালো উত্তর কী?
নিজেকে যাচাই করোপ্রশ্ন
একটা company-কে একবার ১০ TB S3-এ নিতে হবে, নিজস্ব ১ Gbps line-এ মোটামুটি ৮০% পেয়ে। কী করা উচিত?
নিজেকে যাচাই করোপ্রশ্ন
একটা team হিসাব করল, ১০০ Mbps line-এ ২০০ TB যেতে ২৩ দিন লাগবে। ভুলটা কোথায়?
নিজেকে যাচাই করোপ্রশ্ন
আসল transfer-এ সাধারণত slide-এর হিসাবের চেয়ে বেশি সময় লাগে কেন?
নিজেকে যাচাই করোপ্রশ্ন
একটা company-র ১০ Gbps internet line, আর ২০০ TB-র migration পাঠাচ্ছে virtual private gateway-তে একটা standard Site-to-Site VPN connection দিয়ে। Copy চলছে প্রায় ১.২ Gbps-এ। কারণ কী?
নিজেকে যাচাই করোপ্রশ্ন
একজন auditor জানতে চান, company-র নতুন ১০ Gbps dedicated Direct Connect connection দিয়ে যাওয়া data কি encrypted? আর কোনো configuration নেই। ঠিক উত্তর আর সমাধান কী?
নিজেকে যাচাই করোপ্রশ্ন
একটা team Snowball Edge দিয়ে ২০০ TB-র file archive সরাল, S3-এ import করল, আর import শেষের দিনই user-দের সেখানে পাঠিয়ে দিল। User-রা বলছে সাম্প্রতিক file নেই। পরিকল্পনায় কী বাদ পড়েছিল?
নিজেকে যাচাই করোপ্রশ্ন
একটা company-কে on-premises-এর ১৫০ TB data warehouse Amazon Redshift-এ নিতে হবে। Network-এ কয়েক মাস লাগবে, আর cutover পর্যন্ত মূল database-এ লেখা চলতে হবে। কোন জোড়া মানায়?
নিজেকে যাচাই করোপ্রশ্ন
একটা telecom analytics team প্রতিদিন ৫ TB নতুন data বানায় আর প্রতিদিনই সেটা S3-এ চায়। তাদের line ২০০ Mbps। লম্বা সময়ের জন্য ঠিক design কী?
নিজেকে যাচাই করোপ্রশ্ন
পড়ার note বলে, “AWS-এর নিয়ম: transfer-এ এক সপ্তাহের বেশি লাগলে Snow Family ব্যবহার করো।” কোনটা ঠিক?
নিজেকে যাচাই করোপ্রশ্ন
২০২৬-এর শেষে Snow Family নিয়ে কোন কথাটা সত্যি?
নিজেকে যাচাই করোপ্রশ্ন
একটা পুরনো পরীক্ষার প্রশ্ন জানতে চায়, একটা data centre থেকে ৫০ PB যত দ্রুত সম্ভব AWS-এ কীভাবে নেবে। প্রশ্নটা কোন উত্তর চায়?
নিজেকে যাচাই করোপ্রশ্ন
ঢাকার একটা news channel-এর অফিসে ১ Gbps BDIX link আর ২০০ Mbps-এর international internet connection। Singapore-এর একটা AWS Region-এ transfer-এর সময় হিসাব করতে কোন গতি ধরবে?
নিজেকে যাচাই করোপ্রশ্ন
একটা company ২০০ TB-র migration-এর জন্য আজ একটা নতুন ১ Gbps dedicated Direct Connect order দিল। মোটামুটি কবে data AWS-এ পৌঁছাবে?
নিজেকে যাচাই করোপ্রশ্ন
S3 Transfer Acceleration কোন কাজটা করে না?
নিজেকে যাচাই করোপ্রশ্ন
একটা bank ২ PB AWS-এ নেবে, তারপর কয়েক বছর hybrid architecture চালাবে, প্রতি রাতে AWS-এ backup যাবে। Bulk transfer-এর জন্য তারা মোটামুটি দুই মাস অপেক্ষা করতে পারে। কোন পরিকল্পনা সবচেয়ে মানায়?
নিজেকে যাচাই করোপ্রশ্ন
Bulk migration চলার সময় দিনের বেলা অফিসের ১০০ Mbps line নিজের কাজে লাগে। DataSync-এর কোন setting বুদ্ধিমানের?
নিজেকে যাচাই করোপ্রশ্ন
Bulk transfer-এর পরে চলমান replication-এর জন্য slide-এর উত্তরে কোন জোড়া আছে?
নিজেকে যাচাই করোপ্রশ্ন
Site-to-Site VPN বনাম নতুন dedicated Direct Connect নিয়ে কোন দুটো কথা সত্যি?
বেছে নাও ২
নিজেকে যাচাই করোপ্রশ্ন
AWS Direct Connect দিয়ে যাওয়া traffic encrypt করার দুটো উপায় বেছে নাও।
বেছে নাও ২
নিজেকে যাচাই করোপ্রশ্ন
Note-এর Snow Family তালিকায় কোন দুটো সংশোধন আজ সত্যি?
বেছে নাও ২
নিজেকে যাচাই করোপ্রশ্ন
কোন দুটো পরিস্থিতিতে ডাকে পাঠানো device সমস্যার সমাধান করে না?
বেছে নাও ২
নিজেকে যাচাই করোপ্রশ্ন
Snowball Edge নতুন customer-দের জন্য বন্ধ হওয়ার পর বড় transfer-এর জন্য AWS তাদের কোন দুটো দিকে পাঠায়?
বেছে নাও ২