15 питань для співбесіди з AI-розробником

Технічна співбесіда з AI-розробником має перевірити не завчені визначення, а спосіб мислення. Нижче — 15 питань, згрупованих за темами, із поясненням, що саме кожне виявляє.

Основи ML

1. Чим відрізняється переобучення (overfitting) від недообучення? Перевіряє базове розуміння. Сильний кандидат згадає регуляризацію, розділення на train/validation/test і криві навчання.

2. Які метрики ви оберете для незбалансованого датасету? Accuracy тут оманлива. Очікуйте згадку precision, recall, F1, ROC-AUC та розуміння, чому вибір метрики залежить від задачі.

3. Як ви боретеся з нестачею даних? Аугментація, transfer learning, синтетичні дані, активне навчання. Важливе усвідомлення, що більше даних не завжди краще.

Великі мовні моделі

4. Поясніть простими словами, як працює трансформер. Не потрібні формули — важливе розуміння механізму уваги та того, що модель передбачає наступний токен.

5. Що таке галюцинації LLM і як їх зменшити? Очікуйте згадку RAG, grounding, перевірки фактів, налаштування температури та обмеження контексту.

6. Коли ви оберете fine-tuning, а коли — промпт-інжиніринг або RAG? Ключове питання. Сильний інженер пояснить компроміси за вартістю, свіжістю даних і складністю.

7. Як контролювати вартість інференсу в продакшені? Кешування, вибір меншої моделі, обмеження токенів, батчинг. Виявляє продуктове мислення.

RAG і векторний пошук

8. Опишіть архітектуру RAG-системи. Інжест → чанкінг → ембединги → векторна база → пошук → генерація. Деталі про стратегію чанкінгу — хороший сигнал.

9. Що робити, якщо RAG повертає нерелевантні фрагменти? Переоцінка чанкінгу, реранкінг, гібридний пошук, покращення ембедингів. Виявляє досвід із реальними системами.

10. Як обрати векторну базу даних? Масштаб, латентність, вартість, інтеграції. Немає єдиної правильної відповіді — важливий хід міркувань.

Продакшен і MLOps

11. Як ви розгортаєте та моніторите модель у продакшені? Версіонування, моніторинг дрейфу даних, логування, відкати. Відрізняє інженера від дослідника.

12. Що таке дрейф даних і чому він небезпечний? Модель деградує, коли реальні дані відходять від навчальних. Важливе розуміння моніторингу в часі.

13. Як ви оцінюєте якість LLM-функції без «золотого» датасету? Offline-евали, LLM-as-judge, людська оцінка, A/B-тести. Виявляє зрілість підходу.

Практика та мислення

14. Розкажіть про проєкт, де ШІ був неправильним рішенням. Найсильніші кандидати визнають, що іноді достатньо простого правила. Червоний прапорець — «ШІ підходить завжди».

15. Як ви пояснюєте технічне рішення нетехнічному стейкхолдеру? Комунікація критична. Хороший інженер уміє перекласти складне простою мовою.

Як інтерпретувати відповіді

Шукайте не «правильні» слова, а хід думки, чесність щодо компромісів і посилання на реальний досвід. Кандидат, який каже «залежить від контексту» і пояснює, від чого саме, зазвичай сильніший за того, хто дає завчену відповідь.

Висновок

Додайте до цих питань невелике оплачуване тестове завдання — і ви отримаєте повну картину. Мета співбесіди не завалити кандидата, а зрозуміти, як він мислить і чи впорається з вашими реальними задачами.