TFF 공동 작업자들의 2022년 7월 28일 회의 기록

• 신규 인원

• Discord 서버에 모두 접속해 서로 대화를 원활하게 합시다

  • Pin Krzys가 게시할 수 있는 기여자가 됩니다

• SIG 연합

• x 사일로의 무임 승차와 데이터 오염에 관한 논의, LinkedIn이 주도하는 논의(달리 명시되지 않는 한 LinkedIn이 식별한 활용 사례의 컨텍스트)

  • 무임승차 - 그룹에 기여하지 않아 혜택을 약화하는 특정 테넌트

    • 의도적이거나 비의도적일 수 있음

    • 이 지점에서 비의도적인 것에 초점 - 이는 LinkedIn에서 주로 관심 있는 사례입니다

    • 참가자에게 충분한 데이터가 없거나 데이터가 훈련에 유용하지 않으므로 단순해질 수 있음

      • 이를 이상 감지 문제로 모델링하는 것을 현재 고려 중

      • 데이터의 소수에 대한 경우 다수의 기여 작업과 비교하면 효과가 있음

      • 또 다른 접근 방식: 특정 참여자의 기여가 있거나 없이 빌드된 여러 연합 모델, 어떤 모델이 진전을 보이는지 관찰하고 그에 기반해 참가자 배제

    • 몇몇 무임승차자들은 쓸모없는 데이터를 기여할 수 있습니다

      • 이상 감지로 모델링하기 더 어려움

      • 위와 동일한 접근 방식

  • 오염

    • 마찬가지로, 비의도적이거나 아닐 수 있음

    • 비의도적인 것에 집중 - 더 많은 테넌트가 그룹을 압도하고 모델을 그들의 기여로 편향시킬 수 있음

    • 관심 시나리오의 경우, 이는 무임승차 문제와 유사성을 지님

    • 분산된 비잔틴 훈련의 관련 기술

      • 예: 평균 대신, 중앙값을 채택하여 오염에 대한 견고함 일부 추가

  • 이러한 문제가 다른 곳에서 발생하는 것을 볼 수 있나요? 그러한 논리를 생태계에 기여하는 것이 가치가 있나요?

    • 예! 사일로 이해관계가 일치하지 않을 수 있는 반대의 환경에서 볼 수 있는 흔한 문제입니다(기여에는 계산 비용이 발생하고 리소스가 필요함)

  • 무임승차 또는 오염의 영향을 어떻게 측정할 수 있을까요?

    • 기여당 대 총계 - 위의 아이디어는 후자를 가리킴

  • 관찰: TFF의 기능 중 하나는 자체 내부 상태를 유지하고 집계한 대로 상태를 업데이트할 수 있는 매개변수화할 수 있고 네트워크 연결 상태를 추적할 수 있는 집계입니다.

    • 예: federated_aggregate

  • 다른 목표(예: DP)를 통한 절충 및 시너지에 대한 생각

    • DP는 확실히 오염 해결에 도움이 될 수 있습니다

    • 무임승차의 컨텍스트에서 DP에 대한 질문 - 여전히 미결 문제

  • 데이터 오염 공격이 무시해도 될 정도의 영향을 미친다는 것을 발견했습니다

    • 예: https://arxiv.org/pdf/2108.10241.pdf 참조

    • 영향의 규모에 상관없이 교차 사일로 FL 플랫폼의 일부로서 그러한 기능을 제공하는 것이 중요

• 위에 대한 더 자세한 내용과 곧 게시될 LinkedIn의 TFF 생태계에 추가할 구성 요소에 대한 제안을 통해 아이디어 작성

• Discord에서 더 자세한 논의 확인

• 2주 후 다음 회의