在网络安全领域，蓝队负责构建安全系统，红队则负责发现系统中的漏洞。蓝队是构建产品的基础，但红队同样重要，因为部署不安全的系统可能带来严重损害。蓝队的输出取决于最薄弱的环节，而红队的贡献往往是累积的，发现多个漏洞的报告比仅发现一个严重漏洞的报告更有价值。因此，不可靠的贡献者在红队中可能更有用。

在网络安全领域，通常将团队分为“蓝队”和“红队”。蓝队负责构建安全的系统，而红队则负责寻找系统中的漏洞。虽然蓝队的工作更为直观，但红队同样不可或缺，因为部署不安全的系统可能带来严重的后果。

蓝队和红队的工作性质相互补充，数学家称之为“对偶”。蓝队的输出取决于其最薄弱的环节，即使系统中有一个强大的组件，只要存在一个弱小的部分（例如一扇锁好的门和一扇打开的窗户），整个系统仍然不安全。相反，红队的贡献往往是累积的，一份包含严重漏洞和较小漏洞的报告比仅包含严重漏洞的报告更有价值，因为这有助于蓝队同时解决多个问题。然而，过多的低质量报告可能会分散对关键问题的注意力。

因此，不可靠的贡献者在红队中可能比在蓝队中更有用，前提是红队能够捕捉到蓝队可能犯的错误。此外，不可靠的红队贡献只有在增强可靠成员的输出时才有价值，而不是取代这些输出，并且这些贡献需要由经验丰富的红队成员进行有效筛选。

蓝队和红队的区分不仅限于网络安全，还适用于其他领域。例如，在软件工程中，蓝队可能负责编写代码，而红队则负责质量保证和测试。在数学中，蓝队可能提出解决问题的猜想，而红队则检查这些猜想中的错误，并提出反对意见。

作者将数学中的这两种团队称为“乐观者”和“悲观者”，并认为最强大的合作通常发生在两者数量大致相等的情况下。作者本人有时扮演乐观者，有时扮演悲观者，有时则两者兼具。

关于人工智能（AI）工具的使用，作者认为尽管许多应用场景试图将AI工具用于蓝队任务，如自动生成代码、文本、图像或数学论证，但由于这些工具的不可靠性和不透明性，将其用于红队任务可能更为合适。AI可以用于批评蓝队人类专家的输出，而不是直接取代这些输出。蓝队AI的使用应仅限于红队能够捕捉和纠正其错误的能力范围内。

作者在个人实验中，发现AI在提供额外反馈方面很有用，尽管他可能只同意AI生成的一小部分建议，但这些建议中仍有一些是有价值的。这种使用AI的方式虽然不如直接自动化输出那样引人注目，但更为可靠。

最后，作者提到，许多博主也得出类似结论，认为AI是检验初稿论点的好工具，但没有人愿意阅读由AI撰写的博客文章。

1. LLM在红蓝队测试中的应用

   • 观点：LLM在红蓝队测试中可以帮助理解其能力，但测试往往不涉及核心功能，最佳测试仍需人工完成。
   • 引用：
     • "This red vs blue team is a good way to understand the capabilities and current utility of LLMs for expert use."
     • "But often they don’t test the core functionality; the best tests I still have to write myself."

2. 安全防御的“最弱环节”观点

   • 观点：安全防御不应仅依赖“最弱环节”，而应通过多层防御来应对潜在威胁。
   • 引用：
     • "It’s a naive and dangerous view that the defense efforts are only as strong as the weakest link."
     • "The idea is to have multiple layers of defense because you can never really, consistently get 100% with any single layer."

3. LLM作为批评工具的经济性

   • 观点：LLM作为批评工具理论上可行，但实际经济性不高，可能增加时间成本，且易导致低质量输出。
   • 引用：
     • "Using LLMs as a critic/red teamer is great in theory, but economically is not that more useful."
     • "Unfortunately, all the VC money is pushing the opposite, using LLMs to just do mediocre work."

4. LLM在不同任务中的适用性

   • 观点：LLM的性能和适用性取决于其训练和推理的权衡，不同任务需要不同特性的LLM。
   • 引用：
     • "Any dimension of LLM training and inference can be thought of as a tradeoff that makes it better for some tasks, and worse for others."
     • "Maybe in some scenarios a heavily quantized model that returns a result in 10ms is more useful than one that returns a result in 200ms."

5. 人类与LLM在反馈和错误检测中的角色

   • 观点：人类擅长筛选有效反馈，但不擅长发现细微错误，而LLM可以辅助这一过程。
   • 引用：
     • "Humans are good at sifting valid feedback from bad feedback. But we are bad at spotting subtle bugs in PRs."
     • "It is because of my ability to verify a certain result is high enough (my internal verifier model) and the generator model which is the LLM is also accurate enough."

6. AI工具在蓝队中的实际应用

   • 观点：AI工具在蓝队中的应用更具实际价值，特别是在减少警报疲劳和提高效率方面。
   • 引用：
     • "The reality is that the place that needs the most help is on the blue team and indeed this is where we see the biggest uplift from AI tools."
     • "Now add some CV in which tries to categorize those motion detection alerts into a few buckets... suddenly you go from having a thousand alerts to review a day to fifty."