首页 核心备考 STAR 案例 评估与护栏 评估深入 护栏深入 核心概念 意图识别 EN
面试准备 · NAB 墨尔本 · AI Scientist

备考包

五个页面,一个目标:走进面试间,能从容回答关于评估、护栏、记忆、编排与意图识别的任何问题 —— 讲得了架构层,落得到实现层,而且每一句论断背后都有一个真实项目撑着。

五个页面

第一次读,请按这个顺序。之后就直接跳到你刚才没能说出口的那个问题所对应的页面。

01

核心备考

记忆 · 评估 · 护栏,每个主题分三层

全套备考的主干。三个主题各回答三遍:L1 架构层(面对一屋子管理者时怎么讲)、L2 实现层(真要动手会怎么做)、L3 本项目实践(你在 Mines Financial 里具体做了什么)。如果只来得及看一页,就看这一页。

  • 1 · 记忆 — 智能体该记住什么、记在哪里、怎么过期
  • 2 · 评估 — 离线测评框架、评判器、线上实验、漂移
  • 3 · 护栏 — 分层的运行时控制、有据性(groundedness)、审计留痕
  • 值得背下来的数字 + 术语表
打开 →
适用场景任何开放式的「说说你会怎么做……」类问题
阅读时长约 45 分钟,信息密度高
深度管理者视角 → 资深视角 → 动手落地
02

STAR 案例

来自 Mines Financial 的设计决策,以 STAR 形式呈现

这是证据。01 页上的每一条架构论断,都需要一个带情境、任务、行动和可量化结果的故事来支撑 —— 这正是 STAR 的含义,也是行为面试的评分方式。本项目中的十六个真实决策,每个都写成能在九十秒内讲完的样子,包括那些做砸了的。

  • 1 · 评估 — 测评框架、模拟运行与真实运行、BM25 分词器实验
  • 2 · 护栏 — 有据性(groundedness)门控、表格单位、污染问题
  • 3 · 记忆 和 4 · 检索、入库、编排
  • 最薄弱的地方,提前准备好 — 那些你宁愿不被问到的问题
打开 →
适用场景「讲一次你……的经历」以及随后的每一轮追问
阅读时长约 40 分钟
深度具体,带数字
03

评估与护栏

职位描述中着墨最重的两个主题,以问答(Q&A)形式呈现

针对 NAB 招聘启事里几乎每一行都会出现的两个主题做专项训练。二十五个问题,从「你会如何为整个 AI 部门制定评估策略」一路问到「什么是黄金数据集」—— 每一题都先讲问题,再讲直觉做法为什么不行,最后讲真正的方法,而这也正是在面试间里讲话的好顺序。

  • JD 对照表 — 每一条 JD 描述,对应他们可能在探什么
  • 评估 Q1–14 · 护栏 Q15–25
  • 唯一需要记住的那张表 — 评估与护栏,逐项对照
  • 快问快答式追问 附参考答案
打开 →
适用场景临考复习;30 秒的总结式答案
阅读时长约 25 分钟
深度管理者视角 → 资深视角 → 入门视角
04

核心概念

记忆、上下文管理、编排 —— 以及它们的分界在哪里

从零讲起的基础。这三个词经常被混着用,但它们并不是一回事;能把边界划清楚,本身就是资深的信号。先讲概念,再讲每一个在本项目里具体怎么落地,最后把一次请求从头到尾走一遍。

  • 区分这三者 — 边界问题
  • 1 · 记忆系统 — 四种类型,以及你实际构建了哪几种
  • 2 · 上下文管理 — 五项职责,每次调用的上下文预算
  • 3 · 编排 + 一次请求,从头到尾
打开 →
适用场景定义类问题;白板讲解
阅读时长约 30 分钟
深度从零讲起,不预设任何背景知识
05

意图识别

两个子页面:先讲学问,再看代码

从「听懂请求」到「动手去做」之间的那个铰链 —— 也是唯一一个「理解错了」会变成「做错了事」而不只是「答错了话」的地方。单独成节,因为它有两半,而且需要按顺序读:先是意图识别这门学问本身怎么设计、怎么衡量,再是它在本项目里究竟怎么落地的,包括缺口。

  • 1 · 概念本身 — 意图怎么设计、粒度怎么定、三种实现方式、未知与歧义、多意图即任务规划
  • 1 · 怎么衡量 — 准确率为什么会骗人、混淆矩阵、四层评估、错误动作率
  • 2 · 在本项目中 — 用四个标志位代替一个标签、正则抽槽位、澄清中断、带上限的重试
  • 2 · 主动认领的弱点 — 路由没有置信度、澄清循环没有计数器、评估有一半在考自己
打开 →
适用场景「你的智能体是怎么决定要做什么的?」
阅读时长两页合计约 35 分钟
深度概念 → 实现 → 缺口
06

评估深入

十二个概念,四组各三个

把评估单独拆开讲,从零讲起。分成四组各三个,这个结构本身就是为了面试时好回忆。每个概念都配:白话解释加一个 NAB 场景例子、缺了它会出什么事的具体后果、以及一段六行的 STAR(含要背的要点和它对应的原始面试问题)。

  • A · 测什么 —— 黄金测试集、组件级与端到端、每一阶段的指标
  • B · 怎么测 —— 确定性检查与模型评判、评判者本身的校验、评分量表
  • C · 何时测 —— 离线评估、CI 分层、影子 / 灰度 / A-B
  • D · 凭什么相信结果 —— 方差、样本量、漂移与基线
打开 →
用途任何「你怎么知道它有效」类问题
阅读时间约 50 分钟
深度每个概念:概念 → 失效 → STAR
07

护栏深入

四道边界,每道三个控制点

把护栏单独拆开讲,按请求经过的边界来组织,而不是按技术手段分类 —— 既好记,也更接近你在设计评审上真正要辩护的顺序。每个概念同样是三段式,其中「持牌投顾边界」和「智能体动作缺口」这两点是专门针对银行场景点出来的。

  • A · 输入边界 —— 范围与投顾边界、歧义处理、不可信输入与个人信息
  • B · 证据边界 —— 相关性过滤、覆盖度检查、来源可追溯
  • C · 生成边界 —— 接地性检查、断言分类、有界重试
  • D · 输出与运行时 —— 确定性兜底闸门、失败方向选择、可审计性
打开 →
用途「你怎么保证它安全」、负责任 AI 类问题
阅读时间约 55 分钟
深度每个概念:概念 → 失效 → STAR

他们问这个,你就翻那页

面试前一晚,在脑子里过一遍的对照表。

问题页面该拿出什么
「你会怎么评估一个智能体?」03 然后 01端到端评分与轨迹评分之别;然后拿你自己的测评框架作证据
「在银行里,你怎么保证大模型的安全?」03纵深防御:输入、动作、输出、人工监督四层
「讲一次艰难的技术取舍。」02任选一条 STAR 案例 —— 开口先说可量化的结果
「上下文和记忆有什么区别?」04边界那一节;把它画出来,别光靠嘴说
「带我过一遍你的架构。」04 然后 02一次请求从头到尾,然后是背后的那些决策
「你怎么知道它真的变好了?」03置信区间、配对比较,以及为什么跑一次什么都说明不了
「出过什么问题,你又做了什么?」02最薄弱的地方,提前准备好 —— 在他们发现之前先自己说出来
「智能体是怎么决定要做什么的?」05用四个标志位而不是一个标签 —— 以及这为什么让多意图变成白送的
「如果用户的请求有歧义呢?」05置信度加上澄清策略;在本项目里,是一次真正的图中断
把一切串起来的那条主线 NAB 是受监管的银行:APRA 制定审慎监管要求,ASIC 管理行为合规。所以每个回答落到风险的终点时才最有分量 —— 信任、可审计性,以及一次失误传到客户面前的代价。先讲技术,再补上那句能显示你知道最终由谁签字负责的话。

怎么用这套备考包

读过不等于准备好。这些页面是写来让你说出口的。

四轮,按顺序来

  1. 第一轮 —— 读。 一口气读完,顺序是 04 → 01 → 03 → 02。别做笔记;没记住的部分你自然会回头再读。
  2. 第二轮 —— 说。 遮住答案,只看问题,在九十秒内把答案大声讲出来。凡是说不出口的,就是你还没掌握的。
  3. 第三轮 —— 数字。 把 02 页上那些可量化的结果,和 01 页「值得背下来的数字」那一块背下来。在技术面试里,具体数字是最强的可信度信号,没有之一。
  4. 第四轮 —— 面试前一晚。 只看上面的对照表、03 页那张对比表,以及 30 秒的总结式答案。不看任何新东西。
每个答案都是同一个结构 存在什么问题 → 显而易见的做法为什么不行 → 你实际怎么做 → 你怎么知道它奏效了。把它用在嘴上。这会让你听起来像个真把东西做出来过的人,而不是只在书上读过的人。