Việc điều hành hoạt động hàng ngày luôn nằm trong tay vị phó giám đốc.

Bởi vì trên thượng đỉnh của kim tự tháp quyền chức của NSA là vị giám đốc và vị phó của ông ta. Về cơ cấu tổ chức của NSA ở cấp thấp hơn của kim tự tháp này thì nó là một trong những bí mật được giữ nghiêm ngặt nhất. Theo luật mà quốc hội Mỹ thông qua năm 1959, không cái gì có thể là căn cứ để tiết lộ cơ cấu tổ chức hay nguyên tắc hoạt động của NSA, tên tuổi, chức vụ, lương hay số lượng nhân viên của nó. Nghĩa là thực tế NSA có quyền phủ nhận bản thân sự tồn tại của mình.

Người ta biết là trong thập niên 1980, NSA gồm 10 đơn vị: 4 có liên quan trực tiếp đến việc thu thập thông tin từ các kênh thông tin liên lạc, 5 là các đơn vị hỗ trợ, 1 đơn vị chịu trách nhiệm về đào tạo và huấn luyện cán bộ. Dưới đây, xin nêu tóm tắt một vài đơn vị.

Đơn vị “Sản xuất” - là đơn vị chuyên trách về chặn thu giải phá các hệ mã của nước ngoài. Đây là đơn vị lớn nhất trong NSA. Ban đầu, đơn vị “Sản xuất” được chia thành một số đơn vị nhỏ hơn đảm nhiệm: các hệ mã có độ vững chắc cao của Liên Xô và các phương pháp phá giải chúng; các hệ mã có độ vững chắc trung bình và thấp của Liên Xô; các hệ mã của các nước xã hội chủ nghĩa ở châu á; các hệ mã của tất cả các nước còn lại (kể cả của Mỹ). Các bộ phận đặc biệt của đơn vị “Sản xuất” chịu trách nhiệm về việc chặn thu và xử lý thông tin bằng máy.

Đầu thập niên 1960, sau vụ chạy trốn của hai chuyên gia mã thám của NSA sang Liên Xô, đơn vị “Sản xuất” đã được cải tổ. Trong đơn vị này đã thành lập cái gọi là các nhóm được đặt tên theo bảng chữ cái tiếng Anh: “A” (Liên Xô và các đồng minh của Liên Xô) ; “B” (các nước xã hội chủ nghĩa ở châu á), “G” (các nước thế giới thứ ba, cũng như các điện tín gửi đến Mỹ hoặc từ Mỹ), “C” (xử lý bằng máy) và “W” (chặn thu).

Đơn vị “An ninh thông tin” là đơn vị của NSA có nhiệm vụ bảo vệ thông tin trong các kênh thông tin liên lạc của Mỹ. Tất cả các hệ mã do đơn vị này tạo ra được chuyển cho Đơn vị “Sản xuất” để phân tích. Tuy vậy, sự hiện diện của máy mã vẫn chưa có nghĩa là không bị rò rỉ thông tin trong các kênh thông tin liên lạc mà nó được lắp đặt và có thể được sử dụng. Điều như thế đã diễn ra với việc bảo mật các cuộc đàm thoại của các phi công Mỹ trong chiến tranh Việt Nam.

Một phi công trong chiến đấu khi mà mỗi phút đều quý giá thì chả có hơi đâu mà chờ đợi để chiếc máy mã “nhai” chậm chạp  và “nhè ra” thông báo ở dạng mã hoá gửi cho phi công khác. Bởi vậy, các phi công liền tắt quách máy mã và nói chuyện thẳng với nhau.

Đơn vị “Dịch vụ nghiên cứu và kỹ thuật” - đơn vị làm nhiệm vụ nghiên cứu phát triển những phương tiện kỹ thuật chặn thu các thông điệp từ các kênh thông tin liên lạc và máy móc xử lý chúng sau đó.

Đơn vị “Dịch vụ viễn thông và kỹ thuật tính” - đơn vị của NSA đóng vai trò đặc biệt. Vai trò quan trọng của NSA đối với sự phát triển kỹ thuật máy tính là rất lớn bởi lẽ theo các chuyên gia, về trang bị, NSA luôn đi trước trình độ công nghệ hiện đại nhất của phương Tây khoảng 5 năm. Không cần nêu thêm ví dụ về chuyện này.

Tháng 12 năm 1952, để giải mã, NSA đã sử dụng máy tính có bộ nhớ trên trống từ Atlas đầu tiên trên thế giới. Nhưng các chuyên gia mã thám Mỹ luôn thèm khát những gì liên quan công suất tính toán của các máy tính của họ nên vào năm 1957 đã khởi đầu dự án mới có tên “Tia chớp” (Lightning): chính phủ Mỹ đã chi 25 tỷ đô la để chế tạo máy tính điện tử mà về khối lượng thiết bị phải vượt trội các máy tính đã có khi đó 1.000 lần.

Năm 1958, NSA đã chấp thuận loại máy tính thử nghiệm Stretch do hãng IBM đề xuất và năm 1962, họ dã nhận được chiếc đầu tiên trong 7 chiếc máy tính này. Nói chung, máy tính Stretch thành công đến nỗi được sử dụng ở NSA đến tận năm 1976.

Trong thập niên 1980, NSA sở hữu một số lượng máy tính nhiều nhất và hiện đại nhất thế giới. Cũng phải nói thêm là chuyên gia thiết kế siêu máy tính nổi tiếng Seymour Cray cũng khởi đầu sự nghiệp của mình trong thập niên 1950 ở NSA khi thiết kế các máy tính để thực hiện các nhiệm vụ mã thám.

Năm 1976, nhóm “C” của đơn vị “Sản xuất” đã bị giải thể, chức năng của nó được chuyển cho “Dịch vụ viễn thông và kỹ thuật tính toán”.

Năm 1981, NSA đã thành lập trong cơ cấu của mình một đơn vị đặc biệt - “Trung tâm đánh giá an ninh cho phương tiện kỹ thuật tính toán”. Nhiệm vụ của nó là đánh giá thiết bị phần cứng và phần mềm của các hãng tư nhân từ góc độ khả năng bị xâm nhập. Mặc dù các hãng sản xuất máy tính cung cấp các sản phẩm của mình một cách tự nguyện cho việc đánh giá đó, nhưng nếu từ chối làm việc đó thì đối với các hãng này cũng có nghĩa là nói “Good bye” (tạm biệt) với những hợp đồng chính phủ béo bở.