[0001]相关申请的交叉引用
[0002]本申请要求2021年9月20日提交的美国临时申请63/246,178号和2022年1月19日提交的美国临时申请63/301,023号的权益。这些申请的内容以引用方式并入本文。
[0003]背景技术
[0004]本公开整体涉及用于使用组织图像计算机化预测癌症基因型和治疗反应的技术。
[0005]发明内容
[0006]招募患者进行针对靶向具有特定癌症突变的患者的药品的临床试验是缓慢且昂贵的。一个示例是在用厄达替尼治疗膀胱癌的背景下；另一个示例是在用尼拉帕利治疗前列腺癌的背景下；另一个示例是在用埃万妥单抗治疗肺癌的背景下。一旦诊断出癌症患者，就可将该患者提交给可用的临床试验站点。作为诊断的一部分，取出患者活检样品，并使患者活检样品经受分子筛选以测试临床试验药品所靶向的特定基因突变/改变。然而，这种筛选可能是昂贵的，并且获得结果可能要花费不期望的长时间。此外，该测试需要不能被替换的肿瘤组织。如果一些患者认为他们携带合格突变的可能性很低，那么他们可能会决定放弃分子筛选(或经受不同的分子测试)。此外，能够越快识别用于临床试验的合适候选人，就能越快确定可能挽救生命的新疗法的疗效。由于这些和其他原因，需要更容易且更有效地预测特定癌症基因型，特别是在筛选候选人临床试验参与的背景下。
[0007]机器学习系统已经被用于分析数字组织病理学图像。然而，这些系统通常依赖于相关已标记训练数据的大集合来训练计算机化系统帮助基于组织病理学图像数据评估、诊断或做出预测。但是在针对新的和可能有希望的治疗的临床试验的背景下，与已经受这样的治疗并且具有已知结果的患者对应的已标记组织病理学图像数据的大集合通常不可用。
[0008]本公开的实施方案包括能够有效地学习在具有最高相关性的组织病理学图像集合必要地相对较小的情况下进行预测的计算机化流水线系统和方法。例如，感兴趣的群组可包括处于针对特定疾病的新治疗性治疗的临床试验中的参与者(或参与的候选人)。新的治疗可包括例如施用新的药品、新的药品组合和/或使用用于治疗相关疾病的新方案。例如，小数据集可能包括来自仅100个至200个患者或甚至少于100个患者的图像。
[0009]这种小的组织病理学图像数据集所引起的考验在于，通常很难或不可能使用这种少量的训练数据来有效地从头训练深度学习网络进行足够准确的预测。然而，可能可以使用这样的小数据集来微调/训练具有特征提取部分(和/或其他部分)的深度学习网络，该特征提取部分已经基于其他数据集进行了预先训练，优选地，基于从大型较不相关的数据集开始、然后过渡到越来越相关的(并且通常更小的)数据集的一系列数据集进行了预先训练。
[0010]对于许多疾病，诸如癌症，存在可能与来自超过20,000或甚至超过30,000个个体的组织病理学图像(例如，全切片图像)对应的大型公开可用数据集(例如，癌症基因组图谱-“TCGA”-数据)。尽管这种数据集通常将识别疾病的类型(例如，癌症的类型)，但是它们不一定也将识别使用完全监督学习来预测特定肿瘤基因型和/或预测对各种治疗的反应可能需要的其他特定信息。因此，就关于治疗结果或甚至识别特定类型的癌症内的特定肿瘤基因型(例如，与膀胱、前列腺、肺等相关的特定突变的特定基因型)的特定已知信息可能不可用而言，这种数据集可能是“未标记的”，并且/或者比其他更小的数据集更少地与感兴趣的群组相关。
[0011]然而，这种大型未标记的数据集可以有效地用作流水线系统的一部分，该流水线系统用于使用连续更相关的(并且可能显著更小的)数据集来开发经训练的网络，以开发经训练的深度学习网络用于分析与感兴趣的群组(诸如，处于针对特定的新治疗的临床试验中的候选人或参与者)对应的数据。
[0012]在根据本公开的流水线系统的一个实施方案中，第一深度学习网络用于对大型组织病理学图像数据集执行自监督学习(其不需要已标记训练数据)以开始训练深度学习网络的特征提取部分(和/或其他部分)。在一个示例中，使用对比学习网络。然而，在与本公开的原理一致的其他实施方案中，流水线中的第一深度学习网络可被配置为实施其他类型的自监督学习。在其他另选方案中，第一深度学习网络可被配置为实施除自监督学习以外的学习类型。
[0013]在选定实施方案中，与感兴趣的群组越来越相关的后续数据集可用于连续地训练流水线中的附加深度学习网络。这些附加网络可被配置为使用监督学习，在一些示例中，该监督学习包括基于注意力的多实例学习。习得权重可从流水线中的一个网络的特征提取部分(和/或附加部分)迁移到流水线中的下一个网络的特征提取部分(和/或附加部分)，直到提供最终经训练的网络为止，该最终经训练的网络可改进对相对较小的数据集(例如，包括感兴趣的群组的数据集，该感兴趣的群组包括新治疗的临床试验的候选人或处于新治疗的临床试验中的参与者)的分析。
[0014]在广义上，本公开的实施方案示出了训练流水线，该训练流水线包括使用关于感兴趣的群组的从较不相关到较相关数据集的连续数据集对连续深度学习(或其他机器学习)网络的连续训练，以改进评估特定患者是否可能对新治疗起反应的预测或与评估特定患者是否可能对新治疗起反应相关的预测。在一些实施方案中，某些预处理技术用于改进特定组织病理学应用背景下的性能。
[0015]在各种实施方案中，预测展现出已改变的基因型的受试者可经受附加分子测试以确认通过计算机模拟的(in silico)结果。在各种实施方案中，一旦通过分子测试确认，就可基于已改变的基因型状态向受试者提供适当的医学治疗或医学建议。在各种实施方案中，一旦确认，这些受试者可被认为有资格参加临床试验。在各种实施方案中，预测展现出野生型基因型的受试者对于临床试验可能没有资格并且不需要经受进一步的分子测试，从而节省资源(例如，时间和金钱)。在各种实施方案中，本文所描述的方法和/或非暂态计算机可读介质可作为医疗装置软件(SaMD)(其在磁盘上或经由下载提供)或作为基于网络的软件进行操作。在这种实施方案中，本文所描述的方法可独立于临床试验设置操作。
[0016]本文描述了这些和其他实施方案的另外的方面。
[0017]图1示出了计算机化流水线系统，该计算机化流水线系统用于开发经训练的计算机化深度学习网络来使用与感兴趣的群组对应的组织病理学图像进行基因型预测和治疗反应预测，该感兴趣的群组包括处于新治疗的临床试验中的患者或候选人。
[0018]图2是示出图1的实施方案的自监督深度学习网络的架构的框图。
[0019]图3是示出图1的实施方案的基于注意力的学习网络的架构的框图。
[0020]图4示出了一个示例的组织病理学图像数据的预处理的进一步细节。
[0021]图5示出了由图2所示的自监督学习网络实现的组织病理学图像数据的增强处理的进一步细节。
[0022]图6示出了图2所示的自监督学习网络的特征提取网络和投影网络的进一步细节。
[0023]图7示出了用于提供最终经训练的深度学习网络来使用流水线系统(诸如图1的系统)预测肿瘤基因型和/或预测感兴趣的群组的成员对新治疗的反应的计算机实现的方法。
[0024]图8示出了计算机系统7000的示例，该计算机系统的一个或多个可用于实施本文所示出的设备、系统和方法中的一者或多者。
[0025]图9描绘了根据一些实施方案的用于确定受试者的基因型预测的系统环境概览。
[0026]图10描绘了图9中提及的基因型预测系统的框图。
[0027]图11描绘了根据一些实施方案的用于确定受试者的基因型预测的示例性流程图。
[0028]图12是根据一个实施方案的用于确定受试者的基因型预测的示例性流程。
[0029]图13示出了用于实施本文所示的各种实施方案的示例性计算机。
[0030]图14描绘了用于使用切片图像生成患者级基因型预测的示例性过程。
[0031]图15描绘了用于使用切片图像生成患者级基因型预测的另一示例性过程。
[0032]图16A示出了当TCGA样品和Tempus样品被区分开时缺乏跨群组泛化能力。
[0033]图16B示出了当未实施预处理步骤时，神经网络关于区分TCGA样品和试验#1样品的笔迹伪影的偏差。
[0034]图16C示出了当实施预处理步骤时，神经网络对TCGA样品和试验#1样品的改进的处理。
[0035]图17A描绘了以图15的示例性过程部署的模型与以图14的示例性过程部署的模型相比的性能。
[0036]图17B描述了根据图15的示例性过程在TCGA膀胱癌切片上部署的模型的性能。
[0037]图18描绘了用于使用切片图像生成患者级基因型预测的另一示例性过程。
[0038]图19描绘了以图18的示例性过程部署的模型与以图14的示例性过程中部署的模型相比的性能。
[0039]图20示出了图5中描述的示例性过程和图18中描述的示例性过程的相应热图，其表明图18的示例性过程对于图像伪影(诸如笔迹标示)更稳健。
[0040]图21描绘了用于使用切片图像生成患者级基因型预测的另一示例性过程。
[0041]图22描绘了包括若干质量控制步骤以改进由神经网络分析的高质量图像的百分比的示例性流水线工作流。
[0042]虽然参考上面的绘图描述了实施方案，但是这些绘图旨在是例示性的，并且其他实施方案与本公开的实质一致且在本公开的范围内。
[0043]具体实施方式
[0044]现在下文将参考附图更完整地描述各种实施方案，这些附图形成本文的一部分，并且以例示的方式示出了实践实施方案的特定示例。然而，本说明书可具体表现为多种不同形式，并且不应将其理解为受限于本文所列出的实施方案；相反，提供这些实施方案是为了使本说明书将是周密且完整的，并且将向本领域的技术人员充分传达本公开的范围。除了别的以外，本说明书还可具体表现为方法或装置。因此，本文的各种实施方案中的任一种实施方案可采取完全硬件实施方案、完全软件实施方案或组合软件和硬件方面的实施方案的形式。因此，下面的说明不应被理解为限制性的。
[0045]图1示出了计算机化流水线系统1000，该计算机化流水线系统用于开发经训练的计算机化深度学习网络(或其他计算机化机器学习模型)来使用与感兴趣的群组(特别是，例如，包括处于新治疗(或新治疗组合)的临床试验中的患者或候选人的感兴趣的群组)对应的组织病理学图像进行癌症基因型预测、治疗反应预测和/或其他预测。
[0046]图1使用一系列神经网络111、112、113和114的示例来示出和描述。然而，基本原理适用于其他深度学习或机器学习计算机系统，而不管这些系统是否包括任何神经网络处理层。在该示例中，“神经网络”简单地意指实施机器学习处理的计算机化系统，该计算机化系统包括称为神经网络层或元素的一个或多个处理层或元素。在各种示例中，这可包括前馈神经网络层(也称为全连接层)、卷积神经网络层(其可包括或可不包括残差连接)、递归神经网络或其他类型的神经网络层或元素。如果这种计算机化机器学习系统包括已知为神经网络处理层或元素类型的任何处理层或元素，则该系统在本文中被称为“神经网络”。即使这种系统具有除神经网络元素或层以外的许多附加部件或层，这种系统在本文中也将被称为“神经网络”。然而，同样，本领域的技术人员将理解，所示实施方案的某些发明原理适用于具体表现本公开的其他类型的机器学习系统，即使那些系统不包括任何神经网络部件。
[0047]具体地，流水线系统1000包括一系列相应的神经网络(其也可被称为神经网络模块、深度学习模块和/或机器学习模块)111、112、113和114。相应的组织病理学图像数据集101、102、103和104被连续地用于分别训练神经网络111、112、113和114。在该示例中，流水线示出了流水线系统中的四个神经网络。然而，在另选具体实施中，可以使用更多或更少的神经网络(或其他类型的机器学习模块)以及更多或更少的数据集。
[0048]流水线系统1000被定制用于这样的情况：最高相关性的组织病理学图像数据集104必须相对小，因为该组织病理学图像数据集涉及通常包括处于针对特定疾病的新治疗性治疗(例如，施用新药品、药品的新组合以及/或者使用用于治疗相关疾病的新方案)的临床试验中的参与者(或参与的候选人)的感兴趣的群组。例如，小数据集诸如数据集104可能包括仅来自100个至200个患者的图像。在许多示例中，小数据集甚至可对应于来自100个患者或少于100个患者(例如，40个至50个患者、51个至60个患者、61个至70个、71个至80个、81个至90个、91个至100个患者)的组织病理学图像。
[0049]这种小的组织病理学图像数据集所引起的考验在于，通常很难或不可能使用这种少量的训练数据来有效地从头训练深度学习网络进行足够准确的预测。然而，可以使用这种小数据集来微调/训练具有特征提取部分的深度学习网络，该特征提取部分已经基于其他数据集进行了预先训练(或者具有已经从适当地预先训练的网络迁移的权重)，优选地，基于从大型较不相关的数据集开始、然后过渡到越来越相关的(并且通常更小的)数据集的一系列数据集进行了预先训练。
[0050]在所示的示例中，数据集101是大型公开可用数据集。对于许多疾病，诸如癌症，存在可能与来自超过20,000或甚至超过30,000个个体的组织病理学图像对应的大型公开可用数据集(例如，癌症基因组图谱-“TCGA”-数据)。尽管这种数据集通常将识别癌症的类型，但是它们不一定也将识别使用完全监督学习来预测对各种治疗的反应可能需要的其他特定信息。因此，就关于治疗结果或甚至识别特定类型的癌症(例如，肺)内的特定肿瘤基因型的特定已知信息可能不可用而言，这种数据集可能是“未标记的”。
[0051]尽管数据集101可能出于一些目的而被标记，但是在本文所描述的特定示例中，该数据集不出于训练治疗反应分类器的特定目的而被标记(或者如果该数据集确实具有治疗反应信息，但对应的治疗和/或癌症信息与感兴趣的群组的相关程度不足以将标记用于有用的训练目的)。
[0052]然而，即使数据集101未被标记(或以其他方式不具有充分相关至足以用于完全监督学习的相关联信息)，该数据集也可有效地用于自监督学习，以例如预先训练特征提取器来在癌症或另一其他疾病的背景下从组织病理学图像(或其他医学图像)提取相关特征。因此，在流水线系统1000中，第一深度学习网络111执行自监督学习(其不需要使用已标记训练数据)以开始使用数据集101来训练深度学习网络111的特征提取部分。如下文在图2的背景下进一步描述的，在该示例中，深度学习网络111被配置为实施对比学习。然而，在与本公开的原理一致的其他实施方案中，流水线中的第一深度学习网络可被配置为实施其他类型的自监督学习。
[0053]使用对比学习神经网络111和组织病理学图像数据集101进行自监督学习所产生的习得参数(有时被称为权重、内核值、滤波值或其他名称)的至少一部分被迁移到第二网络112。在该示例中，网络112是基于注意力的多实例深度学习网络。
[0054]在流水线系统1000中，第二网络112通过组织病理学图像数据集102进行训练。在该示例中，组织病理学图像数据集102是已标记数据集，并且网络112使用组织病理学图像数据集102执行基于注意力的监督学习，如在图3的背景下进一步描述的。
[0055]在所示的示例中，数据集102是比具有更多对应相关信息的数据集101更小且更相关的数据集。例如，该数据集可以是包括治疗结果和/或分子测试结果的商业性数据集(即，私人的)，该分子测试结果识别和与组织病理学图像中的组织对应的特定癌症相关的特定突变的基因型。这可能是在疾病与感兴趣的群组对应的疾病相同或类似的背景下，但治疗和围绕数据的其他方面是不同的。在使用组织病理学图像数据集102来训练第二网络112之后，所得到的习得参数中的至少一些学习参数被迁移到第三深度学习网络113，在该示例中，该第三深度学习网络也是基于注意力的多实例深度学习网络。
[0056]在流水线系统1000中，第三网络113通过组织病理学图像数据集103进行训练。在该示例中，组织病理学图像数据集103是与临床群组对应的已标记数据集，该临床群组不是感兴趣的群组，但是与数据集102相比与感兴趣的群组更相关。在一个示例中，组织病理学图像数据集103对应于已经接受治疗的临床试验群组，该治疗与要对感兴趣的群组施用的治疗具有一些相关性，但不是相同的治疗。在该示例中，与数据集103对应的临床试验具有与要对感兴趣的群组施用的新治疗的临床试验类似的纳入/排除标准。
[0057]在使用组织病理学图像数据集103来训练第三网络113之后，所得到的习得参数中的至少一些学习参数被迁移到最终深度学习网络114，在该示例中，该最终深度学习网络也是基于注意力的多实例深度学习网络。
[0058]使用组织病理学图像数据集104对最终深度学习网络114进行微调(进一步训练)，该组织病理学图像数据集对应于其成员处于新治疗的临床试验中或者是处于新治疗的临床试验中的候选人的感兴趣的群组的至少一部分。在一个示例中，组织病理学图像数据集104对应于感兴趣的群组的已经接受新治疗的一部分，并且关于对该治疗的反应的一些数据是可用的。
[0059]在使用组织病理学图像数据集104对最终网络114进行微调(即，训练)之后，接着可使用网络114来帮助使用与感兴趣的群组的其他成员对应的组织病理学图像来预测感兴趣的群组的那些其他成员的治疗反应。以这种方式，已经使用流水线系统1000开发的最终网络(诸如网络114)可允许改进在相关正在进行的临床试验中或在涉及相同或类似治疗的未来临床试验中对参与者的选择。
[0060]本文中依据在流水线中从一个深度学习网络迁移到下一个深度学习网络的相关习得权重来描述流水线系统的所示示例。然而，本领域技术人员将理解，在一些情况下(例如，当流水线中的连续网络具有相同架构时)，这可被认为等同于首先利用一个数据集，然后利用另一数据集来连续地训练同一网络，或者作为另一示例，首先基于一个数据集连续地训练同一网络，然后当利用下一个数据集开始训练时重新初始化该网络的一些部分的权重(例如，注意力层和分类层，其中，当在流水线中基于下一个数据集开始训练时，不保留基于先数据集训练所得的权重)，但是不重新初始化其他部分的权重(例如，特征提取层，其中，保留基于先数据集训练所得的权重作为用于基于下一个数据集训练的起始值)。这种示例被认为与本公开的实质和范围一致。
[0061]图2是示出流水线系统1000的自监督学习神经网络111(与具体表现本公开的基本原理的流水线系统中的第一深度学习网络一致的深度学习网络的一个示例)的架构的框图。具体地，网络111包括预处理块201、增强块202、特征提取网络203、投影网络204和对比学习模块205。
[0062]图2中示出的对比学习网络111类似于在申请人于2022年1月19日提交的共同未决的美国临时申请No.63/301,023中公开的对比学习网络，该申请据此全文以引用方式并入。本公开的对比学习网络111适于处理来自组织病理学图像的数据。在一个实施方案中，系统用来训练特征提取神经网络203和投影神经网络204(网络203和网络204还可被认为是单个神经网络的简单不同的层集合)来从组织病理学图像提取特征，这些特征将使得能够对在组织病理学图像中捕获的组织样品进行有效分类(或关于这些组织样品的其他监督学习任务)。
[0063]预处理模块201从组织病理学图像数据集101接收数据并对其进行预处理以向增强模块202提供图块，诸如图块21和图块22。预处理模块201的附加细节将在图4的背景下讨论。图块22和21是与来自数据集101的组织病理学图像的一部分对应的经预处理像素数据。
[0064]预处理模块201从组织病理学图像数据集101接收组织病理学图像数据。来自数据集101的组织病理学图像通常是染色(上色)组织样品的数字图像，这些染色组织样品可以是例如从怀疑患有特定疾病的患者的活检样品获得的。预处理模块201将每个组织病理学图像划分成多个图块，图块在本文中也被称为分片。
[0065]增强模块202接收经预处理图块，并且可对每个图块执行增强过程的两种不同执行方案以每个图块生成两个不同增强版本。例如，在所示的示例中，增强模块202接收两个不同图块21和22，并且从图块21生成与增强过程的两种不同迭代对应的增强图块21a和增强图块21b，并且以类似方式从图块22生成也与增强过程的两种不同迭代对应的增强图块22a和增强图块12b。在一个示例中，增强过程可包括对图块执行的一系列步骤，诸如：随机裁剪，随后将大小调整为原始大小；随机水平和/或垂直翻转；使用随机选择的乘数在亮度、对比度、色调和饱和度的指定范围内进行颜色抖动；以及/或者将图像图块随机转换为灰度图(例如，以0.5的概率)。这种过程可对同一图块(例如，图块21)执行两次以生成图块的两个不同增强版本(例如，21a和21b)。特定增强过程的一个示例在图5中详细示出。
[0066]返回到图2的描述，在所示的示例中，从馈送到增强模块202中的每个图块生成两个经增强图块对。然而，可从每个图块生成附加增强图块版本。
[0067]增强图块由特征提取网络203处理。特征提取网络203可基于ResNet34的卷积层和平均池化层，ResNet 34是一种34层的残差网络，如在arXiv:1512.03385v1处可获得的He等人于2015年12月10日发表的“Deep Residual Learning for Image Recognition”中所描述的，该文献以引用方式并入本文(引用为“ResNet论文”)。ResNet 34的分类层(全连接层和softmax层)没有被利用，而是被投影网络204取代。然而，这只是示例。与本公开的原理一致地，可以使用不同大小和/或类型的特征提取网络。
[0068]特征提取网络203向投影网络204提供特征向量(每个增强图块一个特征向量)。投影网络204(下文在图4的背景下进一步描述)处理特征向量并将所投影的特征向量提供给对比学习模块205。
[0069]对比学习模块205应用损失函数来针对与同一批次中的经处理图块对应的特征向量计算损失度量。损失度量可以是从该批次中的同一图块的不同增强版本导出的特征向量之间的相关差异，并且还和与该批次中的不同图块的增强版本对应的特征向量之间的差异相关。然后，该损失通过投影网络204和特征提取网络203进行反向传播，并被用于调整那些网络的可学习参数(权重)。简单地说，当系统学习产生更好的特征向量时，该系统减小来自同一图块的不同增强版本的特征向量之间的差异，同时增大来自不同图块的增强版本的特征向量之间的差异。
[0070]对比学习模块205可实施发表在2020年第37届国际机器学习大会(维也纳)的会议论文集PMLR 119中的Chen等人的“A Simple Framework for Contrastive Learning ofVisual Representation”中阐述的“SimCLR”对比学习处理，该文献以引用方式并入本文(引用为“SimCLR论文”)。具体地，该文献中引用的NT Xent损失可用作对比学习模块205的损失函数。在特定示例中，使用0.1的损失温度。在另选示例中，可使用其他损失温度。另外，在另选示例中，可使用其他损失函数。
[0071]在特定示例中，使用768的批次大小。在另选示例中，使用更小或更大的批次大小。在其他示例中，批次大小在约250-4000的范围内。另外，在一个示例中，使用Adam优化器，并且使用约为5×10 -4 的未调度学习率。
[0072]图3是示出流水线系统1000的基于注意力的学习网络112(与具体表现本公开的基本原理的流水线系统中的第二深度学习网络一致的深度学习网络的一个示例)的架构的框图。具体地，网络112包括预处理块301、增强模块302、特征提取网络303、注意力网络305、聚合器306、分类器网络307和监督学习模块308。
[0073]在所示的示例中，预处理块301基本上类似于图2的预处理块301，并且在下文在图4的背景下进一步讨论。
[0074]在一个示例中，增强模块302实施与由图2中的增强模块202实施的增强步骤相比不同和/或更少的增强步骤。例如，增强模块302可仅实施颜色抖动(其也被称为基于染色的增强)，而不实施其他增强步骤。在其他示例中，可使用相同的增强。在其他示例中，由增强模块302实施的一些增强步骤不同于增强模块202的步骤中的任一步骤。本领域技术人员将认识到，在基于注意力的学习网络112-114(或其他深度学习网络)的背景下，增强对于加强训练稳健性是潜在有用的。然而，在自监督学习的背景下使用的相同增强步骤对于基于注意力的监督学习而言不一定是需要的或最优的。并且在一些示例中，在监督学习期间可使用或可不使用增强，而不一定脱离本公开的实质和范围。在所示的实施方案中，尽管增强被应用于在训练基于注意力的网络112-114期间使用的训练数据，但是当最终的、经完全训练的网络被应用于非训练组织病理学图像数据以进行预测来辅助做出决策时，不将增强处理应用于经分析的组织病理学图像数据。
[0075]在所示的示例中，特征提取网络303的细节与如上文所描述的图2中的特征提取网络203的细节基本上相同。然而，那些块的架构对于与本公开一致的深度学习流水线中的不同步骤可以是不同的。例如，如果用于训练流水线中的第一网络的第一数据集与用于训练流水线中的下一个网络的第二数据集不同(例如，图像类型不同、数据维度不同等)，则每个网络的预处理和/或特征提取部分可能不同。
[0076]在上文所示的示例中，在使用数据集102来训练深度学习网络111之前，将在训练深度学习网络112时习得的来自特征提取网络203的权重迁移到特征提取网络303。在当前示例中，每个深度学习网络111、112、113和114中的特征提取网络具有相同的架构和维度。因此，可迁移在训练流水线中的每个网络时习得的权重，以将所有初始权重提供给流水线中的下一个深度学习网络的特征提取部分。然而，即使特征提取网络因流水线网络而异，来自流水线中的先前网络的权重也可被迁移到流水线中的下一个网络中的可比较位置，并且例如，下一个网络中的任何其他位置可在训练下一个网络之前被初始化为零或某个其他值。如果需要，可在迁移期间经由其他技术(诸如，平均、内插或其他方法)进一步处理权重，使得训练先前网络的特征提取部分的益处可使流水线中的下一个网络的训练受益。
[0077]继续图3的描述，特征提取网络303接收经预处理图块(诸如，图块21和22)并且处理这些图块以提取每个图块的特征向量，诸如特征向量31和32。每个图块的特征向量被馈送到注意力网络305和聚合函数306。在该示例中，注意力网络305仅是包括具有对应权重的一个或多个全连接层的前馈神经网络。输入层大小对应于特征向量大小，并且输出层为每个图块提供单个注意力值。输出分数(注意力值)被归一化为不小于0且不大于1。
[0078]聚合器306将每个图块的特征向量乘以其对应的注意力分数，然后对针对患者的给定组织病理学图像的所有特征向量求平均以产生汇总特征向量30，使得针对每个患者的组织病理学图像产生一个汇总特征向量。在当前示例中，汇总特征向量30将具有与单独的图块的特征向量相同的维度。例如，汇总特征向量30将具有与单个图块的特征向量(诸如特征向量31)相同的维度。但在另选示例中，汇总特征向量的大小不一定与单独的图块的特征向量的大小精确匹配。
[0079]汇总特征向量(每个患者的组织病理学图像一个汇总特征向量)然后被提供给分类器网络307(在该示例中，其包括一个或多个全连接层的典型前馈网络)，该分类器网络针对每个汇总特征向量产生预测值(或类别)。监督学习模块308使用损失函数来基于与数据集102中的相关组织病理学图像对应的标记并且基于由分类器网络307提供的类别值来计算损失值。根据预测类型，可使用不同的损失函数。例如，如果预测呈存活时间或复发时间(其可以是许多值中的一个值，例如数周)的形式，则可使用交叉熵损失函数。然而，如果预测是二元的(例如，对治疗有反应/无反应；或特定突变存在/不存在)，则可使用二元交叉熵损失函数。这些仅仅是示例。用于监督学习的各种损失函数在本领域技术人员的能力范围内，并且所使用的特定损失函数并不旨在限制本公开的更广泛方面。
[0080]监督学习模块308然后通过分类器网络307、注意力网络305和特征提取网络303反向传播损失值(有时被称为误差值)，并且使用该损失值来调整那些网络中的权重(可学习参数)。可以使用用于反向传播和权重调整的各种已知技术，并且可选择并修改学习率以及其他学习参数以加强特定应用的性能。
[0081]在一个示例中，在预处理块301之后，深度学习网络112的总体架构基于2018年6月28日发表于arXiv:1802.04712v4[cs.LG]处的Isle等人的“Attention-based DeepMultiple Instance Learning”(本文引用为“基于注意力的MI学习论文”)中示出的基于注意力的多实例深度学习架构的各方面(参见例如该论文的附录的图6c)，该文献全文以引用方式并入本文。然而，这只是一个示例。在其他示例中，不同网络架构可用于与本公开一致的流水线系统中的不同网络(例如，其他基于注意力的架构或除基于注意力的网络以外的深度学习网络类型)。
[0082]在图1的流水线系统1000的特定示例中，第三网络113和最终网络114的架构与针对图3所示的第二网络112所示的架构相同，并且将不在本文中单独讨论。然而，需注意，从第二网络到最后一个网络的流水线网络架构不需要相同。
[0083]此外，在图1的流水线系统1000的特定示例中，仅将来自特征提取网络(诸如特征提取网络303)的权重从流水线中的一个网络迁移到另一网络。例如，如本领域技术人员将理解的，在训练图3所示的网络112期间，将在注意力网络305和分类器网络307以及特征提取网络303中学习权重。然而，在本示例中，仅特征提取网络303中的权重将被迁移到流水线中的下一个网络(例如，图1的网络113)的特征提取网络。流水线中的随后的深度学习网络中的注意力网络和分类器网络的权重将被重新初始化并从头重新训练。然而，来自特征提取网络的权重将被迁移。然而，在另选示例中，特征提取网络权重和其他权重(诸如例如，来自分类网络诸如分类器307的权重)可在训练流水线中的下一个网络之前迁移到该下一个网络，而不一定脱离本公开的原理。
[0084]图4示出了图2的预处理块201的进一步细节(其与图3的预处理块301的细节相同)。具体地，预处理块201包括图块化模块404、每个图块的质量控制(QC)筛选模块402以及每个切片的QC筛选模块403(“切片”在本文中和与特定组织样品对应的“组织病理学图像”可互换地使用)。
[0085]图块化模块401接收组织病理学图像441(从组织病理学数据集诸如数据集101)，并且将图像划分成多个图块(在本文中有时也被称为“分片”)。在一个特定实施方案中，将图像划分成非重叠图块，每个图块的大小为224像素×224像素。然而，在另选示例中可使用其他大小。
[0086]每个图块的QC筛选模块402处理每个图块以识别图像质量。在一个示例中，通过确定图块中的组织相对于背景以及相对于伪影诸如笔迹标示的百分比来确定图块的图像质量。这样做的处理的一个示例提供在：https://github.com/CODAIT/deep-histopath/tree/master/deephistopath/wsi。在一个示例中，由模块402针对每个图块执行以下处理步骤：1、获得低分辨率缩略图；2、计算笔迹掩模(例如，基于识别RGB笔迹颜色)和背景掩模(例如，基于识别“非标准颜色”，诸如不是H&E染色颜色的灰色和绿色)；3、从切片移除计算出的掩模；以及4、在高分辨率下，针对每个图块位置进行以下操作：a)获得笔迹掩模和背景掩模并且将其应用于图块的低分辨率版本；b)计算图块中的组织/笔迹/背景的百分比；c)估计颜色测量；d)使用组织百分比和颜色测量来计算QC分数。在一个示例中，QC分数由以下公式给出：
[0087]在以上公式中，“colorfactor”基于H&E染色颜色，并且给苏木精的权重高于伊红；“saturationfactor”基于真实组织具有宽HSV饱和度的事实，并且“quantityfactor”对应于图块图像中的组织的量。在一个示例中，使用以上公式的QC分数被缩放为在0至1之间，并且低于阈值分数的图块被拒绝。在一个示例中，阈值为0.75。在其他示例中，阈值高于或低于0.75(例如，为0.6-0.75之间的数字；为0.75-0.95之间的数字；等等)。
[0088]每个切片的QC筛选模块403确定与特定切片(即，特定组织图像)对应的足够数量的图块是否通过QC筛选402。在一个示例中，如果没有足够数量的图块通过筛选402，则模块403丢弃来自该切片的所有图块。预处理201/301输出已经通过筛选402并且是来自没有被筛选403拒绝的图像的图块，诸如42和41。所示的过程仅是QC筛选过程的一个示例。可采用其他QC筛选过程来确定具有足够组织成像以有效地用于进一步分析而不一定脱离本公开的图块和切片。
[0089]图5示出了可由图2的增强模块202在自监督学习的背景下执行的增强处理5000的特定示例。发明人已经发现，所示实施方案的参数对于利用组织病理学切片实施对比学习特别有效。然而，可使用其他处理和参数而不一定脱离本公开。
[0090]步骤501选择用于增强的新图块。步骤502随机裁剪图像图块。步骤503将该图像图块的大小调整为其原始大小，在该示例中为224×224像素。步骤504随机修改图块的颜色参数(该动作在机器视觉的背景下被称为“颜色抖动”)。在一个示例中，将预先确定范围内的随机选择的值应用于图像的亮度、对比度、饱和度和色调。在一个示例中，从中随机选择亮度、对比度和色调的值的预先确定范围各自为约0.2至1.8，并且从中随机选择色调的值的预先确定范围为约-0.2至0.2。
[0091]然后，步骤505将步骤504输出的图块随机转换为灰度图。在该示例中，随机函数使用0.5的转换概率。即，在该步骤中，图块具有约50％的机会被转换为灰度图。在其他示例中，使用其他概率。
[0092]在步骤506中，随机模糊步骤505的输出。在特定实施方案中，使用0.5的概率来确定图块是否在增强期间被随机模糊。
[0093]步骤507输出当前图块的增强版本。在步骤508处，如果还没有创建同一图块的两个增强版本，则该方法前进至步骤502以对相同图块执行增强步骤502-506的另一次迭代。然而，如果已经输出了同一图块的两个增强版本则该方法返回到步骤501并且选择新图块用于增强。
[0094]图6示出了图2的特征提取网络203和投影网络204的进一步细节。具体地，在所示的示例中，特征提取网络203使用与conv1、conv2_x、conv3_x、conv4_x、conv5_x相关联的卷积层，以及平均池化层，但不使用ResNet论文中的ResNet 34的全连接层。它还使用与ResNet论文中的那些层相关联的所有跳跃连接。在该示例中，特征提取网络203向投影网络204输出具有512个值的特征向量。
[0095]投影网络204可包括线性层601、批量归一化层602、激活层604和线性层603。线性层601包括输入层和128个神经元的全连接隐藏层(没有激活函数)。因此，线性层601将大小为128的特征向量输出到批量归一化层602。批量归一化层602执行标准批量归一化处理。在通过批量归一化层602之后，特征向量通过实施非线性激活函数诸如ReLu的激活函数层604，然后到达线性层603，该线性层包括大小为128的输入层和512个神经元的全连接隐藏层(没有激活函数)，因此将特征向量投影回到大小为512。
[0096]应当理解，在这种背景下，“投影网络”简单地指特征表示在通过网络时经受用于表示的维度数量的变化的事实。在该示例中，所投影的特征具有与输入特征相同的维度，但是通过如下过程获得：在该过程中，特征表示首先被投影成更低维度的表示，然后在批量归一化之后，被投影回到具有与输入表示相同维度数量的表示。另选地，虽然可以省略投影网络的使用，诸如本文示出和描述的投影网络，但是通过在将所得到的特征向量传递到对比学习模块之前使用投影网络和批量归一化会获得更好的结果。
[0097]图7示出了用于提供最终经训练的深度学习网络来使用流水线系统(诸如图1的系统1000)预测感兴趣的群组的成员对新治疗的反应的计算机实现的方法7000。
[0098]步骤701包括使用第一组织病理学图像数据集来训练第一深度学习网络。在该特定示例中，对比自监督学习被用于训练第一特征提取器，而不需要使用来自训练数据集(第一医学图像数据集)的标记。
[0099]步骤702包括将从第一深度学习网络的自监督训练习得的第一特征提取器的权重迁移到流水线训练系统中的下一个深度学习网络的特征提取器。
[0100]步骤703包括使用连续的下一个医学图像数据集来连续地训练一个或多个附加的下一个深度学习网络，以及将权重从流水线中的一个网络的一个网络的特征提取器迁移到流水线中的下一个网络的特征提取器。同样，在所示的示例中，仅每个深度学习网络的特征提取部分的权重从流水线中的一个网络迁移到下一个网络。然而，在另选示例中，也可迁移网络的其他部分(例如，分类部分)的权重。如先前所讨论的，流水线中的连续数据集与感兴趣的群组越来越相关，流水线中的最终网络将是为感兴趣的群组而训练。
[0101]步骤704包括将权重迁移到流水线中的最终网络。步骤705包括使用来自感兴趣的群组中处于相关新治疗的临床试验中的第一部分的数据来微调最终网络。
[0102]步骤706包括使用最终经训练的深度学习网络来基于与感兴趣的群组的第二部分的成员对应的组织病理学图像进行基因型预测和/或治疗反应预测。
[0103]结果和启示
[0104]在一些示例中，针对每个组织病理学图像(处于切片水平)做出的预测是存在或不存在基因型改变。在各种示例中，基因型改变包括与成纤维细胞生长因子受体(FGFR)基因(“FGFR改变”)对应的基因改变。在各种示例中，FGFR改变包括FGFR3突变、FGFR3融合、或FGFR3突变与FGFR3融合的组合中的任一者。在各种实施方案中，FGFR改变是p.R248C突变、p.G370C突变、p.S249C突变或p.Y373C突变中的任一种。在各种实施方案中，FGFR改变是FGFR3:TACC3V1融合、FGFR3:TACC3V3融合、FGFR3:BAIAP2L1融合、FGFR2:BICC1融合或FGFR2:CASP7融合中的任一种。在一些示例中，FGFR改变是在患有膀胱癌的患者的背景下发生。
[0105]在一些示例中，改变包括以下基因中的一个或多个基因的改变(例如，DNA修复缺陷(DRD))：BRCA1、BRCA2、BRIP1、CDK12、CHEK2、FANCA、PALB2、RAD51B、RAD54L、RAD21或SPOP。在一些示例中，这些基因中的一种或多种基因的改变是在患有前列腺癌的患者的背景下发生。在一些示例中，改变包括MET基因(其编码c-MET蛋白)的改变(“MET改变”)。在一些示例中，MET改变是在患有肺癌的患者的背景下发生。
[0106]改变可包括各种类型的改变中的一种或多种改变，包括单核苷酸多态性(SNP)、拷贝数变异(CNV)或基因融合。在各种实施方案中，图像是苏木精和伊红(H&E)染色的组织病理学图像。在各种实施方案中，受试者患有癌症或被怀疑患有癌症。
[0107]在一些应用中，方法包括(和/或计算机程序产品包括用于执行以下操作的指令)：至少根据该确定的基因型确定是否施用治疗剂。在各种实施方案中，治疗剂是FGFR激酶抑制剂。在各种实施方案中，FGFR激酶抑制剂是厄达替尼(BALVERSA TM )。在各种实施方案中，治疗剂是PARP抑制剂。在各种实施方案中，PARP抑制剂是尼拉帕利(ZEJULA TM )。在各种实施方案中，最终经训练的神经网络模型在膀胱癌图像上展现出至少0.82的接受者操作曲线下面积(auROC)性能度量。在各种实施方案中，在针对FGFR的基线患病率为14％的情况下，最终经训练的神经网络模型在测试数据集中的膀胱癌模型上展现出在100％召回率下至少0.22的阳性预测值(PPV)性能度量。在各种示例中，最终经训练的神经网络模型在前列腺癌图像上展现出至少0.71的auROC性能度量。在各种实施方案中，在针对PARP的基线患病率为11％的情况下，神经网络模型在测试数据集中的前列腺癌图像上展现出在100％召回率下至少0.14的阳性预测值(PPV)性能度量。
[0108]在一些应用中，来自患者受试者的肿瘤组织切片包括肺癌。在一些应用中，基因型涉及间充质上皮转变因子(MET)基因的改变(MET基因产生c-MET蛋白)。在一些示例中，对于在非小细胞肺癌组织图像的背景下预测MET基因型，与本公开一致的最终经训练的神经网络模型展现出至少0.78+/-0.03的auROC性能度量。在一个示例中，该性能用于预测患者是否具有MET基因的五个或更多个拷贝。在各种实施方案中，治疗剂是靶向表皮生长因子受体(EGFR)和MET的双特异性单克隆抗体。在各种实施方案中，双特异性单克隆抗体是埃万妥单抗(Rybrevant TM )。
[0109]在各种实施方案中，本文所公开的方法还包括：报告图像的与受试者的基因型最强相关联的一个或多个图块。
[0110]关于与高效临床试验候选人选择相关的其他特定预测的结果在下文其他图的背景下进一步讨论。
[0111]图8示出了计算机系统8000的示例，该计算机系统的一个或多个可用于实施本文所示出的设备、系统和方法中的一者或多者。计算机系统8000执行包含在计算机程序产品860中的指令代码。计算机程序产品860包括电子可读介质中的可执行代码，该可执行代码可指示一个或多个计算机(诸如计算机系统8000)执行实现所执行的示例性方法步骤的处理。
[0112]电子可读介质可以是以电子方式存储信息且可例如经由网络连接被本地或远程访问的任何暂时性或非暂时性介质。介质可包括多个地理上分散的介质，该多个地理上分散的介质各自被配置为在不同位置和/或在不同时间存储可执行代码的不同部分。电子可读介质中的可执行指令代码指导所示的计算机系统8000执行本文所描述的各种示例性任务。用于指导执行本文所描述的任务的可执行代码通常将用软件来实现。然而，本领域技术人员将理解，计算机或其他电子装置可利用在硬件中实现的代码来执行许多或所有所识别的任务。本领域技术人员将理解，可发现实现示例性方法的可执行代码的许多变型在本公开的实质和范围内。
[0113]包含在计算机程序产品860中的代码或代码的副本可驻留在通信地耦接到系统8000的一个或多个存储持久介质(未单独示出)中，用于加载和存储到持久存储装置870和/或存储器810中以供处理器820执行。计算机系统800还包括I/O子系统830和外围装置840。I/O子系统830、外围装置840、处理器820、存储器810和持久存储装置870经由总线850进行耦接。类似于持久存储装置870以及可能包含计算机程序产品860的任何其他持久存储设备，存储器810是非暂时性介质(即使被实现为典型的易失性计算机存储器装置)。此外，本领域技术人员将理解，除了存储用于执行本文所描述的处理的计算机程序产品860之外，存储器810和/或持久存储装置870还可被配置为存储本文所参考和例示的各种数据元素。
[0114]本领域技术人员将理解，计算机系统8000仅示出了其中可实现根据本公开的计算机程序产品的系统的一个示例。仅引用一个示例，对包含在计算机程序产品中的指令的执行可分布在多个计算机上，诸如例如分布在分布式计算网络的计算机上。
[0115]用于实施人工神经网络或其他深度学习网络的指令可驻留在计算机程序产品860中。当处理器820正在执行计算机程序产品860的指令时，指令或其一部分通常被加载到处理器820很容易从中访问指令的工作存储器810中。
[0116]处理器820可包括多个处理器，该多个处理器可包括相应的附加工作存储器(附加处理器和存储器未单独示出)，该附加工作存储器包括一个或多个图形处理单元(GPU)，该一个或多个GPU包括支持大规模并行计算的至少数千个算术逻辑单元。GPU经常用于深度学习应用，因为它们可比典型的通用处理器(CPU)更高效地执行相关处理任务。处理器820可另外或另选地包括一个或多个专用处理单元，该一个或多个专用处理单元包括脉动阵列和/或支持高效并行处理的其他硬件布置。这种专用硬件可结合CPU和/或GPU进行工作，以执行本文所描述的各种处理。这种专用硬件可包括专用集成电路等(其可指专用集成电路的一部分)、现场可编程门阵列等、或它们的组合。然而，处理器(诸如处理器820)可被实现为一个或多个通用处理器(优选地具有多个核)，而不一定脱离本公开的实质和范围。
[0117]另外的实施方案和选择的结果
[0118]除非另外指明，否则在该“另外的实施方案和选择的结果”部分中使用的术语按如下所阐述的那样定义。
[0119]术语“受试者”或“患者”可互换使用，并且涵盖细胞、组织或生物体、人或非人、男性或女性。
[0120]术语“哺乳动物”涵盖人和非人两者，并且包括但不限于人、非人灵长类动物、犬科动物、猫科动物、鼠科动物、牛科动物、马科动物和猪科动物。
[0121]术语“样品”或“测试样品”可包括单个细胞或多个细胞或细胞碎片或体液的等分试样(诸如血液样品)，其通过包括静脉穿刺、排泄、射精、按摩、活检、针抽吸、灌洗样品、刮痧、手术切口或干预或本领域已知的其他手段的手段从受试者获取。体液的等分试样的示例包括羊水、房水、胆汁、淋巴液、母乳、间质液、血液、血浆、耵聍(耳垢)、考珀液(预射精液)、乳糜、食糜、女性潮射、月经、粘液、唾液、尿液、呕吐物、泪液、阴道润滑液、汗液、血清、精液、皮脂、脓、胸膜液、脑脊液、滑液、细胞内液和玻璃体液。在各种实施方案中，样品可以是组织(诸如肿瘤)的活检样品。在特定实施方案中，样品是膀胱肿瘤活检样品。在特定实施方案中，样品是前列腺肿瘤活检样品。在特定实施方案中，样品是肺肿瘤活检样品。
[0122]术语“获得一个或多个图像”涵盖获得从受试者捕获的一个或多个图像或获得从取自受试者的样品捕获的一个或多个图像。获得一个或多个图像可涵盖执行从受试者或从取自受试者的样品捕获该一个或多个图像的步骤。该短语还可涵盖例如从第三方接收一个或多个图像，该第三方已执行从受试者或从取自受试者的样品捕获该一个或多个图像的步骤。本领域技术人员可经由多种已知方式(包括存储在存储内存上)获得该一个或多个图像。
[0123]阶段“受试者基因型”、“受试者的基因型”或“受试者肿瘤的基因型”在本文中通常用于指受试者的肿瘤的基因型。在各种实施方案中，受试者基因型是指特定基因的状态，诸如野生型状态或已改变状态。例如，已改变状态可指示特定基因中突变或融合的存在。
[0124]术语“神经网络模型”是指神经网络机器学习模型。在各种实施方案中，神经网络模型包括多个子模型(例如，第一子模型和第二子模型)。例如，神经网络模型可包括卷积神经网络和注意力网络。在其他实施方案中，神经网络模型仅由卷积神经网络构成。
[0125]术语癌症的“治疗”或“疗法”应意指通过施用治疗来减缓、阻止或逆转癌症的进展。在一些实施方案中，治疗癌症意指逆转癌症的进展，在理想情况下达到消除癌症自身的程度。在各种实施方案中，肺癌的“治疗”或“疗法”包括向受试者施用治疗剂或药物组合物。另外，如本文所用，癌症的“治疗”或“疗法”还包括施用治疗剂或药物组合物以达到预防性目的。癌症的预防是指施用组合物或治疗剂以预防癌症或一些或所有癌症症状的发生、形成、发作、进展或复发或者减小癌症发作的可能性。
[0126]必须注意，除非上下文明确地指明，否则如本说明书所用，单数形式“一个”、“一种”、“该”和“所述”包括复数指代物。
[0127]系统环境概览
[0128]图9描绘了根据实施方案的用于确定受试者的基因型预测的系统环境概览。系统环境100提供上下文以便介绍受试者110、图像生成系统120和用于确定受试者110的基因型预测140的基因型预测系统130。尽管图9描绘了为其生成基因型预测140的一个受试者110，但是在各种实施方案中，系统环境100包括两个或更多个受试者，使得基因型预测系统130生成该两个或更多个受试者的基因型预测140(例如，该两个或更多个受试者中的每个受试者的基因型预测)。
[0129]在各种实施方案中，基因型预测可用于对受试者进行优先级排序以进行后续测试。例如，预测展现出已改变的基因型的受试者可经受附加分子测试以确认通过计算机模拟的结果。在各种实施方案中，一旦通过分子测试确认，就可基于已改变的基因型状态向受试者提供适当的医学治疗或医学建议。相反，预测展现出野生型基因型的受试者不需要经受附加分子测试。因此，这节省了资源，因为不需要另外测试受试者的子集。在各种实施方案中，基因型预测可用于确定受试者110是否可能对干预做出反应。因此，由于所预测的基因型而可能对干预做出反应的受试者110可参加临床试验，其中该临床试验的患者将被提供干预。
[0130]在各种实施方案中，受试者先前被诊断患有癌症，该癌症的示例包括膀胱癌或前列腺癌。在各种实施方案中，对受试者的基因型预测140的确定可用于确定癌症相关基因型。在各种实施方案中，对受试者的基因型预测140的确定可用于向医师告知患者具有癌症相关基因型的可能性。例如，膀胱癌相关基因型是与成纤维细胞生长因子受体(FGFR)的基因相关联的基因型。作为另一示例，前列腺癌相关基因型包括与BRCA1、BRCA2、BRIP1、CDK12、CHEK2、FANCA、PALB2、RAD51B、RAD54L、RAD21或SPOP相关联的那些基因型。作为另一示例，肺癌相关基因型包括与MET基因(用于c-MET)相关联的那些基因型。
[0131]在各种实施方案中，可对预测具有特定基因型(例如，基因型改变)的受试者施用减缓或预防癌症的发作、进展或复发的治疗。在各种实施方案中，选择预测具有特定基因型(例如，基因型改变)的受试者参加临床试验。在各种实施方案中，对预测具有特定基因型(例如，基因型改变)并且随后通过分子测试确认具有该特定基因型的受试者施用减缓或预防癌症的发作、进展或复发的治疗。在各种实施方案中，选择预测具有特定基因型(例如，基因型改变)并且随后通过分子测试确认具有该特定基因型的受试者参加临床试验。
[0132]参考图9，从受试者110获得测试样品，并且图像生成系统120从该测试样品捕获图像。在各种实施方案中，测试样品是组织活检样品。例如，测试样品可以是膀胱组织活检样品。例如，测试样品可以是前列腺组织活检样品。
[0133]在各种实施方案中，处理测试样品以制备图像生成系统120可很容易成像的样品。在特定实施方案中，测试样品是经受了组织制备以及苏木精和伊红(H&E)染色，使得图像生成系统120可捕获组织的H&E图像的组织活检样品。例如，常规的H&E染色过程可涉及：1)将组织活检样品保存在福尔马林或石蜡包埋中；2)将组织切成薄片(例如，4μm-5μm厚)；3)移除包埋介质并在二甲苯、乙醇和去离子水中再水合；4)对靶进行染色(例如，抗体染色)；5)使用苏木精对比染色；以及6)将染色的组织切片安装在载玻片上用于成像。
[0134]图像生成系统120从源自于受试者110的经处理样品捕获图像。在各种实施方案中，可由第三方(例如，医疗专业人员)获得该图像和/或该样品。医疗专业人员的示例包括医师、急诊技师、护士、现场急救员、心理学家、采血师、医学物理学人员、执业护士、外科医生、牙医以及本领域技术人员已知的任何其他公认医疗专业人员。在各种实施方案中，可在医院环境或医疗诊所中获得该图像和/或该样品。在各种实施方案中，中心实验室或临床研究组织(CRO)可获得该图像和/或该样品。在各种实施方案中，可使用成像装置捕获该图像和/或该样品。
[0135]在各种实施方案中，图像生成系统120包括成像装置，该成像装置可以是计算机断层摄影(CT)扫描仪、磁共振成像(MRI)扫描仪、正电子发射断层摄影(PET)扫描仪、x射线扫描仪、超声成像装置或光学显微镜(诸如，明场显微镜、暗场显微镜、相差显微镜、微分干涉差显微镜、荧光显微镜、共焦显微镜或双光子显微镜中的任一者)中的一者。在特定实施方案中，成像装置是捕获对比图像的光学显微镜。在各种实施方案中，图像生成系统120获得为明场图像、相对比图像、暗场图像、Reinberg照明图像或偏振图像中的任一者的对比图像。
[0136]通常，基因型预测系统130分析从受试者110捕获的一个或多个图像(例如，由图像生成系统120捕获的图像)并且生成受试者110的基因型预测140。在各种实施方案中，由基因型预测系统130确定的基因型预测140识别特定靶是展现出野生型状态还是已改变状态。例如，基因型预测140可以是靶(例如，基因产物，诸如蛋白质)展现出野生型状态的指示。作为另一示例，基因型预测140可以是靶(例如，基因产物，诸如蛋白质)展现出已改变状态(例如，靶被改变)的指示。在各种实施方案中，基因型预测140可以是特定改变类型的指示。特定改变的示例可包括突变的存在、融合的存在、或突变和融合两者的存在。作为在膀胱癌的背景下的特定示例，基因型预测140可以是受试者展现出野生型FGFR状态或已改变的FGFR状态的指示。作为在前列腺癌的背景下的特定示例，基因型预测140可以是受试者展现出野生型BRCA状态或已改变的BRCA状态的指示。
[0137]在各种实施方案中，基因型预测140可以是野生型状态或已改变状态中的一者的指示，其中已改变状态由多个靶基因中的至少一个靶基因的改变的存来定义。在各种实施方案中，基因型预测140可基于至少两个基因中的至少一个基因的改变的存在来指示已改变状态。在各种实施方案中，基因型预测140可基于至少三个基因、至少四个基因、至少五个基因、至少六个基因、至少七个基因、至少八个基因、至少九个基因、至少十个基因、至少十一个基因、至少十二个基因、至少十三个基因、至少十四个基因或至少十五个基因中的至少一个基因的改变的存在来指示已改变状态。在各种实施方案中，基因型预测140可基于十个基因中的至少一个基因的改变的存在来指示已改变状态。为了提供示例，在前列腺癌的背景下，基因型预测140可以是基于以下基因中的任一个基因的改变的存在对已改变状态的指示：BRCA1；BRCA2；BRIP1；CDK12；CHEK2；FANCA；PALB2；RAD51B；RAD54L；RAD21；SPOP。
[0138]在各种实施方案中，基因型预测140可包括针对受试者110的基于所预测的基因型状态的推荐干预。例如，返回到膀胱癌的背景，如果基因型预测系统130确定受试者110展现出已改变的FGFR状态，则基因型预测140可包括可能延迟展现出已改变的FGFR状态的膀胱癌的进展、预防其进展或减小其大小的推荐干预。
[0139]基因型预测系统130可包括一个或多个计算机，该一个或多个计算机体现为如下文相对于图13所讨论的计算机系统1400。因此，在各种实施方案中，以通过计算机模拟的方式执行参考基因型预测系统130所描述的步骤。在各种实施方案中，图像生成系统120和基因型预测系统130由不同方采用。例如，第一方操作图像生成系统120捕获源自于受试者110的一个或多个图像，然后将所捕获的一个或多个图像提供给第二方，该第二方实施基因型预测系统130来确定基因型预测140。例如，图像生成系统120可捕获该一个或多个图像、存储该一个或多个图像和/或将所捕获的一个或多个图像自动地流式传输到基因型预测系统130，该基因型预测系统可自动地分析所接收到的一个或多个图像以生成基因型预测140。在一些实施方案中，图像生成系统120和基因型预测系统130由同一方采用。
[0140]现在参考图10，该图描绘了根据实施方案的示出基因型预测系统的框图。这里，基因型预测系统130包括图像预处理模块145、神经网络部署模块160、神经网络训练模块150和训练数据存储库170。在各种实施方案中，可使用附加或更少模块不同地配置基因型预测系统130。例如，基因型预测系统130不必包括神经网络训练模块150或训练数据存储库170(如图10其虚线所指示)，而是相反，神经网络训练模块150和训练数据存储库170由不同系统和/或不同方采用。
[0141]下文参考如下两个阶段描述基因型预测系统130的部件：1)训练阶段和2)部署阶段。更具体地，训练阶段是指由神经网络训练模块150基于训练数据(诸如，从训练个体(例如，其基因型先前已知的个体)捕获的训练图像)来构建和训练机器学习模型(例如，神经网络)。因此，使用训练数据来训练机器学习模型(例如，神经网络)，使得在部署阶段期间，神经网络部署模块160对机器学习模型的实施使得能够预测受试者(例如，图9中的受试者110)的基因型。
[0142]在一些实施方案中，在训练阶段和部署阶段中的一者期间应用基因型预测系统130的部件。例如，在训练阶段期间应用神经网络训练模块150和训练数据存储库170以训练神经网络。另外，在部署阶段期间应用神经网络部署模块160。在各种实施方案中，基因型预测系统130的部件可由不同方执行，这取决于是否在训练阶段或部署阶段期间应用这些部件。在这种场景中，神经网络模型的训练和部署由不同方执行。例如，在训练阶段期间应用的神经网络训练模块150和训练数据存储库170可由第一方采用(例如，以神经网络模型)，并且在部署阶段期间应用的神经网络部署模块160可由第二方执行(例如，以部署神经网络模型)。
[0143]参考图像预处理模块145，该图像预处理模块获得由图像生成系统120捕获的图像并且预处理这些图像。通常，预处理这些图像使得能够通过神经网络对图像进行更一致且更准确的分析。
[0144]在各种实施方案中，图像预处理模块145通过移除图像的无信息图块或图像的一个或多个图块的无信息区域来预处理图像。例如，图像预处理模块145可移除其中不存在组织的图块或图块的区域。作为另一示例，图像预处理模块145可移除其中包括组织的面积小于图块的阈值面积(例如，小于10％、小于20％、小于30％、小于40％或小于50％)的图块。作为另一示例，图像预处理模块145可执行图像辨识以识别图像的图块上的笔迹标示的存在。在识别出笔迹标示的存在之后，图像预处理模块145可移除图块的包括笔迹标示的区域。图像预处理模块145可在训练阶段期间移除训练图像的一个或多个图块的无信息区域，并且/或者可在部署阶段期间移除图像的一个或多个图块的无信息区域。
[0145]在各种实施方案中，图像预处理模块145通过执行图像的图像染色增强来预处理图像。通常，执行图像的图像染色增强包括生成附加图像。作为一个示例，图像预处理模块145通过修改图像的图块的染色强度或染色对比度来执行图像的图像染色增强。作为另一示例，图像预处理模块145通过执行图像的图块的颜色抖动或颜色归一化来执行图像的图像染色增强。作为另一示例，图像预处理模块145通过执行图像的图块的水平、垂直或旋转翻转来执行图像的图像染色增强。
[0146]在各种实施方案中，仅对训练图像(而不对在部署阶段期间分析的图像)执行图像染色增强，从而使得能够生成可用于训练神经网络的附加训练图像。换句话说，图像预处理模块145在训练阶段期间执行图像染色增强，以多样化和补充用于训练神经网络的总训练图像集。因此，通过基于多样化的训练图像训练神经网络，该神经网络可处理具有变化的染色强度、变化的染色着色以及变化的旋转和取向的图块。
[0147]图像预处理模块145向神经网络训练模块150(在训练阶段期间)或向神经网络部署模块160(在部署阶段期间)提供经处理图像。在一些实施方案中，图像预处理模块145将经处理图像存储在训练数据存储库170中，使得可稍后检索那些图像以用于训练神经网络。
[0148]神经网络训练模块150使用源自于训练个体的训练数据来训练神经网络模型。神经网络部署模块160实施神经网络模型来分析图像的各个图块，从而生成受试者110的基因型预测。训练机器学习模型(例如，神经网络模型)以及部署机器学习模型(例如，神经网络模型)在下文进一步详细地描述。
[0149]用于预测受试者的基因型的方法
[0150]本文所描述的实施方案包括用于通过应用经训练的神经网络模型来预测受试者的基因型的方法。这种方法可由图10中所描述的基因型预测系统130执行。将进一步参考图11，该图描绘了根据实施方案的用于确定受试者的基因型预测1240的示例性流程图200。
[0151]流程图200开始于图像1210，诸如由图像生成系统120捕获的图像。在各种实施方案中，图像1210先前经受了图像预处理，如上文在图10中的图像预处理模块145的背景下所描述的。在这种实施方案中，图11中所示的图像1210表示经预处理图像。
[0152]从图像1210生成多个图块1220。通常，每个图块1220表示图像1210的子集。例如，如果图像1210具有为M像素×N像素的尺寸，则图块1220可具有为M/X像素×N/Y像素的尺寸，其中M/X和N/Y的值是恒定值。在各种实施方案中，每个图块1220具有与每隔一个的图块1220相同的尺寸。在各种实施方案中，每个图块1220具有为224×224像素的尺寸。
[0153]各个图块1220作为输入被提供到神经网络模型1230。通常，神经网络模型1230分析各个图块1220并确定预测，诸如基因型预测1240。在各种实施方案中，神经网络模型1230确定为确定基因型预测1240提供信息的预测。例如，神经网络模型1230可确定随后可转化为基因型预测1240的分数。
[0154]在各种实施方案中，通过将分数与阈值比较来确定基因型预测。如果分数高于阈值，则基因型预测是第一分类。如果分数低于阈值，则基因型预测是第二分类。
[0155]如图11所示，神经网络模型1230包括第一子模型1250和第二子模型1260。在各种实施方案中，神经网络模型1230仅包括第一子模型1250而不包括第二子模型1260。因此，根据第一子模型1250的输出确定基因型预测1240。在各种实施方案中，第一子模型1250分析各个图块1220，并确定图块级预测或为图块级预测提供信息的图块级特征，但不展示图块级预测。例如，在诸如图11所示的涉及第一子模型1250和第二子模型1260两者的一个实施方案中，第一子模型1250输出随后被输入到第二子模型中的图块级特征。作为另一示例，在神经网络模型1230仅包括第一子模型1250的实施方案中，第一子模型输出用于确定基因型预测1240的图块级预测。
[0156]例如，如果存在被输入到神经网络模型1230中的总共Z个图块1220，则第一子模型1250输出Z个不同的图块级预测或Z个不同的图块级特征，每个图块级预测或图块级特征与图块1220相关联。在各种实施方案中，每个图块级预测可以是图块的范畴。例如，第一范畴可以是野生型状态，而第二范畴可以是已改变的基因型状态。在各种实施方案中，每个图块级预测可以是反映图块的基因型状态(例如，野生型状态或已改变的基因型状态)的可能概率的概率(例如，在0至1之间)。图块级特征可以是与该图块对应的向量(例如，数字阵列)。
[0157]在各种实施方案中，第一子模型1250是由多个层、每层的多个节点以及与这些层的节点相关联的参数构成的卷积神经网络。因此，卷积神经网络通过将各个图块传播通过该多个层来分析这些图块以生成图块级预测(或图块级特征)。
[0158]在各种实施方案中，神经网络模型1230仅包括第一子模型1250而不包括第二子模型1260。在这种实施方案中，可分析由第一子模型1250输出的图块级预测(或图块级特征)以确定基因型预测1240。例如，可选择与最高图块概率对应的图块并且将该最高图块概率与阈值进行比较。如果最高图块概率大于阈值，则切片被标记为第一分类。如果最高图块概率小于阈值，则切片被标记为第二分类。在各种实施方案中，阈值是0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.71、0.72、0.73、0.74、0.75、0.76、0.77、0.78、0.79、0.80、0.81、0.82、0.83、0.84、0.85、0.86、0.87、0.88、0.89、0.90、0.91、0.92、0.93、0.94、0.95、0.96、0.97、0.98或0.99。
[0159]在各种实施方案中，诸如图11所示的实施方案，神经网络模型1230包括第一子模型1250和第二子模型1260两者。因此，各个图块级预测作为输入被提供到第二子模型1260中。在各种实施方案中，第一子模型1250生成图块级特征(例如，为聚合图块提供信息的特征)，然后将其作为输入提供到第二子模型1260。这里，第二子模型1260通过聚合各个图块级预测或图块级特征来生成图像级预测(本文中也被称为“切片级预测”)。
[0160]在各种实施方案中，第二子模型1260是神经网络，在下文中被称为注意力网络。因此，注意力网络可由多个层、每层的多个节点以及与这些层的节点相关联的参数构成。通常，注意力网络被训练成聚合图块级预测或图块级特征以生成图像级预测。因此，注意力网络可学习向与为确定基因型提供更多信息的图块相关联的某些图块级预测或图块级特征分配更重的权重，相反地，向与为确定基因型提供更少信息的图块相关联的某些图块级预测或图块级特征分配更少的权重。
[0161]在各种实施方案中，第二子模型1260输出基因型预测1240。在各种实施方案中，第二子模型1260输出提供基因型预测1240的信息的分数。例如，第二子模型1260可输出指示基因型的分类(例如，野生型或已改变)的恒定值。作为特定示例，值“0”可指示为野生型基因型的分类，而值“1”可指示为已改变的基因型的分类。
[0162]在各种实施方案中，可向用户(例如，临床医生用户)显示受试者的所预测的基因型140。因此，临床医生用户用户可将所预测的基因型告知受试者。在各种实施方案中，可向用户(例如，临床医生用户)显示附加/其他信息。例如，可向用户显示为生成所预测的基因型140提供更多信息的一个或多个图块。这使得用户能够执行对该一个或多个图块的手动检查，以确保没有混淆图像伪影(例如，笔迹标示或染色变色)导致所预测的基因型140。
[0163]用于预测基因型的示例机器学习模型
[0164]本文所公开的实施方案涉及训练以及部署用于预测受试者的基因型的机器学习模型。通常，机器学习模型被构造为使得其分析图像的各个图块，并且输出提供受试者的基因型的信息的图像级预测。在特定实施方案中，机器学习模型是神经网络模型(例如，前馈网络、卷积神经网络(CNN)、深度神经网络(DNN)、自动编码器神经网络、生成对抗网络或递归网络(例如，长短期记忆网络(LSTM)、双向递归网络或深度双向递归网络))。尽管本文的描述涉及神经网络模型，但在其他实施方案中，机器学习模型是以下中的任一者：回归模型(例如，线性回归、逻辑回归或多项式回归)、决策树、随机森林、梯度提升机器学习模型、支持向量机、朴素贝叶斯模型、k均值集群或它们的任意组合。
[0165]在各种实施方案中，机器学习模型包括两个或更多个子模型。例如，机器学习模型可包括两个子模型，即，分析各个图块并输出图块级预测的第一子模型，以及图块级预测并输出图像级预测的第二子模型。因此，第一子模型的输出用作第二子模型的输入。在具体实施方案中，第一子模型和第二子模型都是神经网络(例如，前馈网络、卷积神经网络(CNN)、深度神经网络(DNN)、自动编码器神经网络、生成对抗网络或递归网络(例如，长短期记忆网络(LSTM)、双向递归网络或深度双向递归网络)或它们的任意组合)。在特定实施方案中，第一子模型是卷积神经网络。
[0166]机器学习模型(及其子模型)可使用机器学习实现的方法来训练，该机器学习实现的方法诸如为以下的任一者：线性回归算法、逻辑回归算法、决策树算法、支持向量机分类、朴素贝叶斯分类、K最近邻分类、随机森林算法、深度学习算法、梯度提升算法以及降维技术诸如流形学习、主成分分析、因子分析、自动编码器正则化和独立成分分析或它们的组合。在各种实施方案中，机器学习模型是使用监督学习算法、无监督学习算法、半监督学习算法(例如，部分监督)、弱监督、迁移、多任务学习或它们的任意组合来训练的。在特定实施方案中，机器学习模型是使用弱监督技术来训练的。在特定实施方案中，机器学习模型是使用深度学习算法来训练的。
[0167]在各种实施方案中，机器学习模型(及其子模型)具有一个或多个参数，诸如超参数或模型参数。通常在训练之前建立超参数。在各种实施方案中，经由交叉验证来执行超参数优化(例如，网格搜索)。超参数的示例包括学习率、决策树的深度或叶子、深度神经网络中的隐藏层数量、k均值聚类中的聚类数量、回归模型中的惩罚以及与代价函数相关的正则化参数。通常在训练期间调节模型参数。模型参数的示例包括与神经网络层中的节点相关的权重、支持向量机中的支持向量、决策树中的节点值以及回归模型中的系数。使用训练数据来训练(例如，调节)机器学习模型的模型参数以提高机器学习模型的预测能力。
[0168]再次参考图10，神经网络训练模块150使用训练数据来训练机器学习模型。在各种实施方案中，可从公共可用数据库获得和/或得出训练数据。例如，可从国家癌症研究所的GDC数据门户和/或癌症基因组学的cBioPortal获得和/或导出训练信息。在一些实施方案中，训练数据可独立于公共可用数据库来获得和收集，例如通过从多个训练个体捕获图像。此类训练数据可以是定制数据集。
[0169]在各种实施方案中，训练数据可存储到训练数据存储库170和/或从中检索。通常，训练数据包括源自于训练个体(例如，具有已知的野生型基因型或已改变的基因型的个体)的H&E染色组织切片的训练图像。如上文所描述的，训练图像可能已经受预处理。例如，训练图像可能已经受质量控制处理以移除图像伪影，诸如笔迹标示。另外，训练图像可能已经由基于染色的增强来生成，这使可用于训练的训练图像的数量多样化并增加。例如，可使用基于染色的增强过程来预处理单个图像以生成具有不同染色着色的附加图像。作为特定示例，单个训练图像可经受基于染色的增强过程以生成具有不同染色着色的十个训练图像。这防止不同的染色着色影响由机器学习模型生成的预测。
[0170]在各种实施方案中，可从数据集的拆分获得训练数据。例如，数据集可经受50:50训练:测试数据集拆分。在一些实施方案中，数据集可经受60:40训练:测试数据集拆分。在一些实施方案中，数据集可经受80:20训练:测试数据集拆分。在一些实施方案中，数据集可经受70:15:15训练:测试:验证数据集拆分。
[0171]在各种实施方案中，用于训练机器学习模型的训练数据包括指示训练个体的基因型状态的参考真实值。在各种实施方案中，训练数据中的参考真实值为二进制值，诸如“1”或“0”。例如，具有已知野生型基因型的训练个体可在训练数据中用值“0”标识，而具有已知已改变的基因型的训练个体可在训练数据中用值“1”标识。
[0172]在各种实施方案中，神经网络训练模块150使用训练数据来训练机器学习模型以最小化损失函数，使得机器学习模型可基于输入(例如，训练图像的图块)来更好地预测基因型状态。这里，神经网络训练模块150可反向传播损失值，并且调整机器学习模型的参数以最小化损失值。在各种实施方案中，为最小绝对值收敛和选择算子(LASSO)回归、岭回归或弹性网络回归中的任一者构建损失函数。在特定实施方案中，损失函数是预测的标记与真实标记之间的交叉熵损失(例如，标记可以是针对膀胱癌中的FGFR的真或假的二进制标记)。如上文所描述的，在一些实施方案中，机器学习模型是具有至少第一子模型(例如，卷积神经网络)和第二子模型(例如，注意力网络)的神经网络模型。在各种实施方案中，联合训练第一子模型和第二子模型。因此，神经网络训练模块150反向传播损失值，并通过联合调整第一子模型的参数和第二子模型的参数来训练神经网络模型。在其他实施方案中，单独训练第一子模型和第二子模型。因此，神经网络训练模块150通过单独调整第一子模型的参数和第二子模型的参数来训练神经网络模型以最小化损失函数。
[0173]在各种实施方案中，本文所公开的机器学习模型实现性能度量。示例性性能度量包括接受者操作曲线的接受者操作曲线下面积(auROC)、阳性预测值和/或阴性预测值。在各种实施方案中，本文所公开的机器学习模型展现出至少0.5的auROC值。在各种实施方案中，本文所公开的机器学习模型展现出至少0.6的auROC值。在各种实施方案中，本文所公开的机器学习模型展现出至少0.7的auROC值。在各种实施方案中，本文所公开的机器学习模型展现出至少0.8的auROC值。在各种实施方案中，本文所公开的机器学习模型展现出至少0.9的auROC值。在各种实施方案中，本文所公开的机器学习模型展现出至少0.95的auROC值。在各种实施方案中，本文所公开的机器学习模型展现出至少0.99的auROC值。在各种实施方案中，本文所公开的机器学习模型展现出至少0.51、至少0.52、至少0.53、至少0.54、至少0.55、至少0.56、至少0.57、至少0.58、至少0.59、至少0.60、至少0.61、至少0.62、至少0.63、至少0.64、至少0.65、至少0.66、至少0.67、至少0.68、至少0.69、至少0.70、至少0.71、至少0.72、至少0.73、至少0.74、至少0.75、至少0.76、至少0.77、至少0.78、至少0.79、至少0.80、至少0.81、至少0.82、至少0.83、至少0.84、至少0.85、至少0.86、至少0.87、至少0.88、至少0.89、至少0.90、至少0.91、至少0.92、至少0.93、至少0.94、至少0.95、至少0.96、至少0.97、至少0.98或至少0.99的auROC值。
[0174]用于预测受试者的基因型的示例性方法
[0175]图12是根据第一实施方案的用于确定受试者的基因型预测的示例性流程。如图12所示，流程1305包括步骤1310、1320、1330和1340。
[0176]步骤1310涉及获得源自于受试者的组织切片的图像。在各种实施方案中，组织切片是H&E染色活检切片。在各种实施方案中，组织是受试者的膀胱或前列腺的活检样品。
[0177]步骤1320涉及使用质量控制过程来预处理图像。在各种实施方案中，预处理图像涉及例如通过移除图像的无信息区域和/或增强组织染色来改进图像的质量。因此，经预处理图像允许图像可更容易管理，使得神经网络可在来自混淆因素(例如，来自图像伪影)的影响有限的情况下适当地分析图像。
[0178]步骤1330涉及应用神经网络模型来分析经预处理图像的图块。在各种实施方案中，神经网络模型生成切片级预测。在各种实施方案中，切片级预测包括分数。在各种实施方案中，神经网络模型基于对各个图块的分析来生成图块级预测，随后聚合图块级预测以生成切片级预测。在各种实施方案中，神经网络模型包括至少第一子模型(例如，卷积神经网络)和第二子模型(例如，用于执行图块聚合以生成切片级预测的注意力网络)。
[0179]步骤1340涉及根据切片级预测确定受试者的基因型。例如，切片级预测可包括分数，因此，根据该分数对受试者的基因型进行分类。在各种实施方案中，通过将分数与阈值进行比较来对受试者的基因型进行分类。如果分数高于阈值，则将受试者的基因型分类到第一分类中。如果分数低于阈值，则将受试者的基因型分类到第二分类中。
[0180]在各种实施方案中，受试者基于切片级预测而经受附加分子测试。例如，如果切片级预测指示受试者可能展现出已改变的基因型，则受试者经历附加分子测试以确认通过计算机模拟的结果。通常，这使得能够使要分子测试的受试者优先，因为预测展现出已改变的基因型状态的受试者可优先于预测展现出野生型基因型状态的受试者。
[0181]在各种实施方案中，一旦通过分子测试确认，就可基于已改变的基因型状态向受试者提供适当的医学治疗或医学建议。在各种实施方案中，可基于受试者的基因型为受试者选择指导干预。例如，如果所预测的基因型指示存在突变的靶(例如，诸如突变的成纤维细胞生长因子受体(FGFR))，则可为受试者选择治疗性干预(例如，BALVERSA)。在一些实施方案中，假定所预测的基因型指示突变的靶的存在，则受试者可参加临床试验以接受治疗性干预。
[0182]癌症和突变
[0183]本文所描述的方法涉及实施用于预测受试者的癌症相关基因型的神经网络模型。在各种实施方案中，受试者的癌症可包括以下中的一者或多者：淋巴瘤、B细胞淋巴瘤、T细胞淋巴瘤、蕈样肉芽肿病、霍奇金氏病、骨髓性白血病、膀胱癌、脑癌、神经系统癌、头颈癌(head and neck cancer)、头颈鳞状细胞癌、肾癌(kidney cancer)、肺癌(lung cancer)、成神经细胞瘤/成胶质细胞瘤、卵巢癌、胰腺癌、前列腺癌、皮肤癌、肝癌、黑色素瘤、口腔、喉部、咽部和肺部的鳞状细胞癌、结肠癌、宫颈癌(cervical cancer)、宫颈癌(cervicalcarcinoma)、乳腺癌和上皮癌、肾癌(renal cancer)、泌尿生殖系统癌、肺癌(pulmonarycancer)、食管癌、胃癌、甲状腺癌、头颈癌(head and neck carcinoma)、大肠癌、造血系统癌、睾丸癌、结肠和/或直肠癌、子宫癌或前列腺癌。在一些实施方案中，受试者的癌症可为转移癌，包括膀胱癌、乳腺癌、结肠癌、肾癌、肺癌、黑色素瘤、卵巢癌、胰腺癌、前列腺癌、直肠癌、胃癌、甲状腺癌或子宫癌中的任一者。在特定实施方案中，癌症是膀胱癌。在特定实施方案中，癌症是前列腺癌。在特定实施方案中，癌症是肺癌。
[0184]在各种实施方案中，本文所公开的方法涉及预测与膀胱癌相关的基因型，诸如成纤维细胞生长因子受体(FGFR)。在这种实施方案中，可基于受试者的FGFR状态向受试者提供指导疗法。FGFR状态可以是指野生型FGFR或FGFR改变。在各种实施方案中，FGFR改变是指FGFR3突变、FGFR3融合或FGFR3突变与FGFR3融合的组合中的任一者。在各种实施方案中，FGFR改变是指FGFR2突变、FGFR2融合或FGFR2突变和FGFR2融合的组合中的任一者。
[0185]示例性FGFR3点突变描述于下表1中。
[0186]表1.therascreen FGFR RGQ RT-PCR试剂盒测定靶：点突变
[0187]基因 氨基酸变体 CDS突变 COSMIC ID 外显子 FGFR3 p.R248C c.742C>T COSM714 7 FGFR3 p.G370C c.1108G>T COSM716 10 FGFR3 p.S249C c.746C>G COSM715 7 FGFR3 p.Y373C c.1118A>G COSM718 10
[0188]示例性FGFR3融合描述于下表2中。
[0189]表2.therascreen FGFR RGQ RT-PCR试剂盒测定靶：融合
[0190]在各种实施方案中，本文所公开的方法涉及预测与前列腺癌相关的基因型，诸如BRCA1和/或BRCA2基因。例如，与前列腺癌相关的基因型可包括单核苷酸多态性(SNP)、拷贝数变异(CNV)、或涉及BRCA1或BRCA2基因的基因融合。
[0191]本文所描述的实施方案涉及实施机器学习模型(例如，神经网络模型)来预测受试者的基因型。在各种实施方案中，基于所预测的基因型为受试者选择干预。在各种实施方案中，干预可为以下的任一者：应用诊断、应用预防性治疗剂或后续措施。示例性后续动作可包括对受试者或来自受试者的测试样品的后续测试以确认通过计算机模拟的基因型预测。
[0192]在特定实施方案中，如果受试者的所预测的基因型是已改变的基因型，则来自受试者的测试样品可被提供用于附加分子测试筛选以确认受试者展现出已改变的基因型。在这种实施方案中，如果附加分子测试筛选确认受试者展现出已改变的基因型，则受试者可被认为有资格参加临床试验。在特定实施方案中，如果受试者的所预测的基因型是野生型基因型，则可将受试者排除在针对潜在地加入临床试验的受试者的后续分析之外。在这种实施方案中，该通过计算机模拟的过程用作前瞻性筛选，前瞻性筛选将可能展现出野生型基因型并因此不应参加临床试验的许多受试者排除在外。这节省了对每一个患者进行分子筛选的时间和成本。
[0193]在各种实施方案中，如果受试者的所预测的基因型指示突变的FGFR的存在，则可为受试者选择包括BALVERSA(厄达替尼)的干预。作为另一示例，如果受试者的所预测的基因型指示已改变的BRCA基因(例如，已改变的BRCA1或BRCA2)的存在，则可为受试者选择包括聚(ADP-核糖)聚合酶(PARP)抑制剂并且特别是ZEJULA(尼拉帕利)的干预。
[0194]在各种实施方案中，可基于受试者的所预测的基因型来选择治疗剂和/或向受试者施用治疗剂。所选择的治疗剂有可能延缓或预防癌症(诸如，前列腺癌或膀胱癌)的形成。示例性治疗剂包括化学疗法、能量疗法(例如，体外射束、微波、射频消融、近距放射疗法、电穿孔、冷冻消融、光热消融、激光疗法、光动力学疗法、电烙术、化疗栓塞术、高强度聚焦超声、低强度聚焦超声)、抗原特异性单克隆抗体、消炎药、溶瘤病毒疗法或免疫疗法。在各种实施方案中，所选择的治疗剂是能量疗法并且可定制所施加的能量的量(例如，剂量和持续时间)以实现期望的治疗效果。在各种实施方案中，治疗剂是小分子或生物制剂，例如细胞因子、抗体、可溶性细胞因子受体、反义寡核苷酸、siRNA等。此类生物制剂涵盖生物制剂的突变蛋白和衍生物，该衍生物可包括例如融合蛋白、聚乙二醇化衍生物、胆固醇缀合的衍生物及本领域已知的类似衍生物。还包括细胞因子和细胞因子受体的拮抗剂，例如诱捕网(trap)和单克隆拮抗剂。还包括与本文所阐述的活性剂具有生物类似性或生物等效性的药品。
[0195]用于膀胱癌的治疗剂可包括诸如以下治疗剂：BALVERSA(厄达替尼)、阿特珠单抗、阿维鲁单抗、BAVENCIO(阿维鲁单抗)、顺氯氨铂、盐酸阿霉素、福替尤单抗-韦度替尼、厄达替尼、JELMYTO(丝裂霉素)、KEYTRUDA(派姆单抗)、纳武单抗、OPDIVO(纳武单抗)、PADCEV(恩福替尤单抗-韦度替尼)、派姆单抗、萨瑞曲单抗-戈维替尼、TECENTRIQ(阿特珠单抗)、TEPADINA(噻替派)、噻替派、TRODELVY(萨瑞曲单抗-戈维替尼)、戊柔比星和VALSTAR(戊柔比星)。在特定实施方案中，治疗剂是BALVERSA(厄达替尼)。
[0196]用于前列腺癌的治疗剂可包括聚(ADP-核糖)聚合酶(PARP)抑制剂、醋酸阿比特龙、阿帕他胺、比卡鲁胺、卡巴他赛、CASODEX(比卡鲁胺)、达洛鲁胺、地加瑞克、多西他赛、ELIGARD(醋酸亮丙瑞林)、恩杂鲁胺、ERLEADA(阿帕他胺)、FIRMAGON(地加瑞克)、氟他胺、醋酸戈舍瑞林、JEVTANA(卡巴他赛)、醋酸亮丙瑞林、LUPRON DEPOT(醋酸亮丙瑞林)、LYNPARZA(奥拉帕尼)、盐酸米托蒽醌、NILANDRON(尼鲁米特)、尼鲁米特、NUBEQA(达洛鲁胺)、奥拉帕尼、ORGOVYX(瑞卢戈利)、PROVENGE(Sipuleucel-T)、镭223二氯化物、Relugolix、RUBRACA(樟脑磺酸卢卡帕尼)、樟脑磺酸卢卡帕尼、Sipuleucel-T、TAXOTERE(多西紫杉醇)、XOFIGO(镭-223二氯化合物)、XTANDI(恩扎鲁胺)、YONSA(醋酸阿比特龙)、ZOLADEX(醋酸戈舍瑞林)和ZYTIGA(醋酸阿比特龙)。在特定实施方案中，用于前列腺癌的治疗剂是PARP抑制剂，特别是ZEJULA(尼拉帕利)。在特定实施方案中，用于肺癌的治疗剂是Rybervant(埃万妥单抗)。
[0197]在各种实施方案中，该治疗剂中的一种或多种治疗剂可组合为用于治疗受试者的联合疗法。
[0198]在各种实施方案中，可至少基于受试者的所预测的基因型来选择药物组合物和/或向受试者施用药物组合物，所选择的治疗剂可能展现出抗癌疗效。在各种实施方案中，可基于分子测试来选择药物组合物和/或向受试者施用药物组合物，该分子测试是基于受试者的肿瘤展现出突变基因型的预测来进行的。例如，如果所预测的基因型指示受试者的肿瘤的突变基因型，并且随后的分子测试确认受试者的肿瘤的突变基因型，则可选择药物组合物和/或向受试者施用药物组合物。施用给个体的药物组合物包括活性剂，诸如上述治疗剂。活性成分以治疗有效量(即，在施用时足以治疗由此介导的疾病或医学病症的量)存在。组合物还可包含增强递送和疗效(例如，增强活性成分的递送和稳定性)的各种其他药剂。因此，例如，根据所需的剂型，组合物还可包含药学上可接受的无毒载体或稀释剂，它们被定义为常用于配制供动物或人类施用的药物组合物的溶媒。选择稀释剂以便不影响该组合的生物活性。此类稀释剂的示例为蒸馏水、缓冲水、生理盐水、PBS、林格氏溶液、葡萄糖溶液和汉克斯溶液。此外，药物组合物或制剂可包含其他载体、佐剂或无毒、非治疗性、无致免疫性稳定剂、赋形剂等。组合物还可包含用于接近生理条件的附加物质，诸如pH调节和缓冲剂、毒性调节剂、润湿剂和去垢剂。组合物还可包含多种稳定剂中的任一种，诸如抗氧化剂。
[0199]可按多种不同方式施用本文所述的药物组合物或治疗剂。示例包括经由口、鼻内、模块内、病灶内、直肠、局部、腹膜内、静脉内、肌内、皮下、真皮下、经皮、鞘内、支气管内、经胸廓或颅内方法施用包含药学上可接受的载体的组合物。
[0200]计算机实现
[0201]在一些实施方案中，本发明的方法(包括实施用于预测受试者的基因型的神经网络模型的方法)在一个或多个计算机上执行。
[0202]例如，神经网络模型的构建和部署可用硬件或软件或两者的组合来实现。在本发明的一个实施方案中，提供了一种机器可读存储介质，该介质包括用机器可读数据编码的数据存储资料，当使用用指令编程的机器来使用所述数据时，该机器可读数据能够执行神经网络模型的训练或部署和/或显示本文所述的任何数据集或结果。本发明可在可编程计算机上执行的计算机程序中实现，该可编程计算机包括处理器、数据存储系统(包括易失性和非易失性存储器和/或存储元件)、图形适配器、指向装置、网络适配器、至少一个输入装置和至少一个输出装置。显示器联接到图形适配器。将程序代码应用于输入数据以执行上述功能并生成输出信息。以已知方式将输出信息应用于一个或多个输出装置。计算机可以是例如常规设计的个人计算机、微型计算机或工作站。
[0203]每个程序可以高级过程语言或面向对象的编程语言来实现以与计算机系统通信。然而，这些程序可根据需要以汇编语言或机器语言来实现。在任何情况下，语言可为编译或解释语言。每个此类计算机程序优选地被存储在由通用或专用可编程计算机可读的存储介质或装置(例如，ROM或磁盘)上，以便在计算机读取存储介质或装置时配置和操作计算机以执行本文所述的过程。该系统还可被视为被实现为配置有计算机程序的计算机可读存储介质，其中如此配置的存储介质使得计算机以特定且预定义的方式操作以执行本文所述的功能。
[0204]可在多种介质中提供签名模式及其数据库以促进其使用。“介质”是指包含本发明的签名模式信息的制品。可将本发明的数据库记录在计算机可读介质(例如，可由计算机直接读取和访问的任何介质)上。此类介质包括但不限于：磁存储介质，诸如软盘、硬盘存储介质和磁带；光学存储介质，诸如CD-ROM；电存储介质，诸如RAM和ROM；以及这些类别的混合，诸如磁/光学存储介质。本领域技术人员可容易地理解，当前已知的计算机可读介质中的任一者可如何用于创建包含本发明数据库信息的记录的制品。“记录的”是指用于使用本领域已知的任何此类方法在计算机可读介质上存储信息的过程。可基于用于访问所存储的信息的装置来选择任何方便的数据存储结构。多种数据处理器程序和格式可用于存储，例如文字处理文本文件、数据库格式等。
[0205]在一些实施方案中，本发明的方法(包括涉及实施神经网络模型的用于预测受试者的基因型的方法)在分布式计算系统环境中(例如，云计算环境中)的一个或多个计算机上执行。在本说明书中，“云计算”被定义为用于实现对可配置计算资源的共享集合的按需网络访问的模型。可采用云计算来提供对可配置计算资源的共享集合的按需访问。可配置计算资源的共享集合可经由虚拟化来快速提供，并且以低管理工作量或服务提供商交互来发布，然后相应地进行缩放。云计算模型可由诸如例如按需自助服务、广泛网络接入、资源池化、快速弹性、可计量服务等的各种特性组成。云计算模型还可暴露各种服务模型，诸如例如软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础设施即服务(“IaaS”)。还可使用诸如私有云、社区云、公共云、混合云等的不同部署模型来部署云计算模型。在本说明书和权利要求书中，“云计算环境”是其中采用云计算的环境。
[0206]图13示出了用于实施图9、图10、图11和图12所示的实体的示例性计算机。计算机1400包括耦接到芯片组1404的至少一个处理器1402。芯片组1404包括存储器控制器集线器1420和输入/输出(I/O)控制器集线器1422。存储器1406和图形适配器1412耦接到存储器控制器集线器1420，并且显示器1418耦接到图形适配器1412。存储装置1408、输入装置1414和网络适配器1416耦接到I/O控制器集线器1422。计算机1400的其他实施方案具有不同架构。
[0207]存储装置1408是非暂态计算机可读存储介质，诸如硬盘驱动器、光盘只读存储器(CD-ROM)、DVD或固态存储器装置。存储器1406保存由处理器1402使用的指令和数据。输入接口1414是触摸屏界面、鼠标、跟踪球或其他类型的指向装置、键盘或它们的某种组合，并且用于将数据输入到计算机1400中。在一些实施方案中，计算机1400可被配置为从输入接口1414接收经由来自用户的手势进行的输入(例如，命令)。网络适配器1416将计算机1400耦接到一个或多个计算机网络。
[0208]图形适配器1412在显示器1418上显示图像和其他信息。在各种实施方案中，显示器1418被配置为使得用户(例如，放射科医生、肿瘤科医生、肺科医生)可在显示器1418上输入用户选择，以例如预测患者的基因型，或者安排任何附加检查或过程。在一个实施方案中，显示器1418可包括触摸界面。在各种实施方案中，显示器1418可示出受试者的一个或多个基因型。因此，访问显示器1418的用户可将受试者的所预测的基因型告知受试者。在各种实施方案中，显示器1418可示出信息，诸如对受试者的所预测的基因型贡献最大的图像的各个图块。例如，这种信息对于验证所预测的基因型归因于组织中的特定属性而不是图像伪影可以是有用的。
[0209]计算机1400适于执行计算机程序模块以便提供本文所描述的功能。如本文所用，术语“模块”是指用于提供指定功能的计算机程序逻辑。因此，模块可在硬件、固件和/或软件中实现。在一个实施方案中，程序模块被存储在存储装置1408上，被加载到存储器1406中，并且由处理器1402执行。
[0210]图9或图10的实体所使用的计算机1400的类型可根据实体所需的实施方案和处理能力而改变。例如，基因型预测系统130可在单个计算机1400中运行或在彼此通过网络(诸如服务器农场)通信的多个计算机1400中运行。计算机1400可能缺少上文所描述的部件中的一些部件，诸如图形适配器1412和显示器1418。
[0211]系统
[0212]本文进一步公开了用于实施用于预测受试者的基因型的神经网络模型的系统。在各种实施方案中，这种系统可包括至少上文在图9中所描述的基因型预测系统130。在各种实施方案中，基因型预测系统130被具体表现为计算机系统，诸如具有图13中所描述的示例性计算机1400的计算机系统。
[0213]在各种实施方案中，该系统包括成像装置，诸如上文在图9中所描述的图像生成系统120。在各种实施方案中，该系统包括基因型预测系统130(例如，计算机系统)和图像生成系统120两者。在这种实施方案中，基因型预测系统130可与图像生成系统120通信地耦接以接收从受试者捕获的图像。因此，基因型预测系统130以通过计算机模拟的方式实施神经网络模型来分析图像并确定受试者的基因型的预测。
[0214]实施例
[0215]下面是用于执行本发明的特定实施方案的实施例。这些实施例仅提供用于说明目的，并不旨在以任何方式限制本发明的范围。已努力确保关于所使用的数字的准确性，但应容许一些实验误差和偏差。
[0216]实施例1：神经网络模型的第一具体实施和对应问题
[0217]目标是开发和实施用于预测患者突变的机器学习模型，从而使得能够预先筛选有资格加入临床试验的患者。通过使用通过计算机模拟的方法预先筛选患者，这将减少需要经受分子筛选的患者的数量。此外，通过计算机模拟的方法可以是快速且节省成本的，这将鼓励医生将有高预测可能性具有合格突变的患者送去筛选。总之，便宜的突变筛选工具可降低在真实世界的临床环境中进行测试的障碍，并且帮助患者匹配正确的疗法。
[0218]图14描绘了用于使用切片图像生成患者级基因型预测的第一示例性过程。这里，分析整个切片H&E图像。将切片分解成单独的图块，然后使用神经网络对其进行分析以进行图块级预测。将这些图块级预测聚合为患者级预测。这里，通过选择切片中的最高图块级预测来执行图块级预测的聚合(即，最大聚合)。在以下文献中公开了对该第一示例性过程的进一步描述：Campanella,G.等人，“Clinical-grade computational pathology usingweakly supervised deep learning on whole slide images”，Nat Med，第25卷，第1301–1309页(2019年)，该文献据此全文以引用方式并入。
[0219]然而，在该分析中出现了两个主要问题：
[0220]·切片质量(即，污点、笔迹标示、灰尘/污垢)
[0221]·批次差异/变化性
[0222]这些问题在下文实施例2中进一步详细地描述。
[0223]实施例2：结合了图像的预处理的神经网络模型的第二具体实施
[0224]为了解决上文所描述的建模挑战并提高模型性能，开发了神经网络模型的第二具体实施以包括质量控制步骤(例如，切片质量挑战)和数据增强步骤(例如，批次差异)。
[0225]图15描绘了用于使用切片图像生成患者级基因型预测的第二示例性过程。这里，将整个切片图像分解成更小的图块。然后，对各个图块执行质量控制步骤和数据增强步骤。质量控制步骤移除了笔迹标示和背景。笔迹标示和背景强度是图像伪影，这些图像伪影可负面地影响分析图块的神经网络的性能。数据增强步骤涉及基于染色的增强，该基于染色的增强增加了训练集合中不同染色图像的数量并使染色图像多样化。这确保了经训练的神经网络是基于具不同染色强度和着色的图块训练的，因此，神经网络的预测较少受到跨不同图块和样品的染色变化的影响。
[0226]经预处理图块被作为输入提供到神经网络，该神经网络生成图块级预测，这些图块级预测各自指示特定图块可能对应于已改变的状态还是野生型状态。将这些图块级预测进行聚合以生成切片级预测。这里，通过选择切片中的最高图块级预测来执行图块级预测的聚合(即，最大聚合)。
[0227]通常，当结合预处理步骤(例如，质量控制步骤和数据增强步骤)时，提高了神经网络的性能。首先，图16A示出了当TCGA样品和Tempus样品被区分开时缺乏跨群组泛化能力。为了验证这种提高至少部分地归因于关于笔迹伪影的偏差的减小，当实施预处理步骤以及未实施预处理步骤时对神经网络进行分析。图16B示出了当未实施预处理步骤时，神经网络关于笔迹伪影的偏差。值得注意的是，由于图像上的笔迹标示的差异，神经网络处理TCGA样品的方式显著不同于处理试验#1样品的方式(例如，如它们不同的集群位置所示)。这指示笔迹标示的存在负面地影响了神经网络的预测。相反，图16C示出了当实施预处理步骤时，神经网络对TCGA样品和试验#1样品的改进的处理。值得注意的是，图16C示出了由于相应图块被不可区分地聚集在一起，神经网络以无偏差的方式处理TCGA样品和试验#1样品。这指示笔迹标示的存在不影响神经网络的预测。
[0228]图17A描绘了以第二示例性过程部署的模型(在图15中描述)与以第一示例性过程部署的模型(在图14中描述)相比的性能。具体地，图17A中的“版本1”是指图14中描述的第一示例性过程，并且图17A中的“版本2”是指图15中描述的第二示例性过程。
[0229]通常，当分析来自TCGA和试验#1两者的样品时，在“版本2”(例如，第二示例性过程(在图15中描述))中结合预处理步骤提高了神经网络的性能。如图17A所示，当使用“版本2”时，提高了性能度量(例如，接受者操作曲线下面积(auROC)和阳性预测值(PPV))中的每个性能度量。
[0230]图17B描述了根据第二示例性过程(在图15中描述)在TCGA膀胱癌切片上测试的模型的性能。这里，TCGA样品包括总共407个TCGA膀胱癌切片。275个切片用于训练，62个切片用于验证，70个切片用于测试。已知12.5％的样品具有合格的成纤维细胞生长因子受体(FGFR)改变(例如，突变、融合或两者)。图17B中示出的结果强调了根据图15中描述的第二示例过程部署的模型能够实现在100％召回率下0.57的PPV，这将使总筛选病例减少75％。因此，这指示包括预处理步骤显著提高了模型的性能。
[0231]实施例3：学习图块级特征的聚合的神经网络模型的第三具体实施
[0232]为了与实施例1和2中描述的模型相比进一步提高神经网络模型的性能，神经网络模型被进一步构造有注意力网络，使得学习图块级特征的聚合(例如，用于对特定图像的所有图块进行汇总的针对每个图块的特征向量的归一化加权值)。这种神经网络模型可实现更可靠且信息量更大的概率分数，并且可对于图像伪影更稳健。此外，期望具有可训练的聚合步骤，使得模型将自动学习如何从数据聚合多个图块以给出准确预测。
[0233]图18描绘了用于使用切片图像生成患者级基因型预测的第三示例性过程。这里，第三示例性过程涉及实施注意力网络，该注意力网络学习聚合图块级特征以生成切片级预测的方式。如图18所示，第三具体实施还包括预处理步骤。
[0234]图19描绘了以第三示例性过程部署的模型(在图18中描述)与以第一示例性过程部署的模型(在图14中描述)相比的性能。这里，在Tempus数据集上测试模型，该数据集包括已知改变的已知患病率为11％的512个组织切片。另外，图19中的“版本1”是指图14中描述的第一示例性过程，而图19中的“版本3”是指图18中描述的第三示例性过程。
[0235]首先，第三示例性过程的模型能够在显著减少的训练时间内实现提高的性能。即，“版本1”模型需要3天的训练时间，而“版本3”模型仅需要3小时的训练。这里，预先训练的CNN可用于版本3，因此，用于版本3模型的训练的重点在于注意力网络。与版本1相反，使用固定/不可学习的聚合(诸如，最大聚合方法)来训练CNN。训练CNN(如版本1模型中所要求的)比训练注意力模型(如版本3模型中所要求的)花费长得多的时间，因为CNN包括多得多的参数(即，查看每个图块的2D图像而不是每个图块的概率/特征)。另外，即使训练时间减少，与“版本1”模型(auROC＝0.65和PPV＝0.12)相比，“版本3”模型也实现了更高的性能度量(例如，auROC值＝0.71和PPV＝0.14)。
[0236]此外，假定“版本3”模型也结合了预处理步骤，则与“版本1”模型相比，“版本3”模型对于图像伪影(诸如，笔迹标示)也更稳健。具体地，图20示出了第一示例性过程(在图14中描述)和第三示例性过程(在图8中描述)的相应热图，其表明第三示例性过程对于图像伪影(诸如，笔迹标示)更稳健。
[0237]总之，这些结果指示第三实施例在训练减少且性能适当的情况下预测受试者基因型。
[0238]实施例4：第一子模型和第二子模型被联合训练的神经网络模型的第四具体实施
[0239]图21描绘了用于使用切片图像生成患者级基因型预测的第四示例性过程。这里，图21所示的第四示例性过程是“End2End”模型，该“End2End”模型意味着第一子模型(例如，生成图块级特征的神经网络)和第二子模型(例如，学习图块级特征的最佳聚合的注意力网络)两者被联合训练。如图21所示，切片级预测被分析准确性(例如，如通过真实值与切片级预测之间的差异测量的)，并且值被反向传播以联合训练神经网络和注意力网络的参数。
[0240]通过联合训练具有注意力模块的卷积神经网络，“End2End”版本在版本3(在实施例3中描述)上有所改进。单个反向传播回路更新注意力以及CNN的权重，这使得CNN能够学习基于组织病理学的特征。
[0241]“End2End”版本还在运行中使用颜色抖动以及翻转/旋转执行染色增强，因此不需要预先手动地进行这一操作。通过在每个批次中对每个切片的“N”个分片(图块)进行随机采样并且因此使得网络适合GPU内存，来抵消由于每个切片的训练分片(图块)的大小较大而导致的内存约束。
[0242]实施例5：流水线工作流的示例性部署
[0243]图22描绘了示例性流水线工作流。具体地，图22示出了确保神经网络分析高质量图像的若干质量控制步骤。从图22的左上角开始，到流水线工作流的输入包括图像文件和相关联的元数据。质量控制步骤检查组织是膀胱/前列腺组织以及10X缩放图像是可用的。如果不满足这些标准中的任一个标准，则可提供不满足任一个标准的指示。如果满足标准，则对图像进行预处理并计算切片中的图块位置。第二质量控制步骤确保成功地计算图像中的图块位置。如果该步骤失败，则可提供错误。否则，针对组织、伪影和/或背景的存在来单独地评估图块。
[0244]根据组织、伪影和/或背景的存在来为图块分配质量分数。例如，组织的存在将增加质量分数，而伪影和/或背景的存在将降低质量分数。用于确定质量分数的步骤的进一步细节在图22中示出。将具有多于N个合格图块的切片输入到还连接到注意力网络的神经网络中。因此，注意力网络输出二进制预测。
[0245]附加实施方案
[0246]本文所公开的本发明的实施方案涉及用于基于从获自受试者的样品捕获的癌组织图像来预测受试者肿瘤的基因型的流水线工作流。通常，流水线工作流涉及：1)预处理图像的步骤；和2)经训练的神经网络的部署，该神经网络分析图像的各个图块并生成受试者肿瘤的基因型的预测。在各种实施方案中，经训练的神经网络包括卷积神经网络，该卷积神经网络分析各个图块并生成图块级预测，或者在另选实施方案中，生成图块级特征。在各种实施方案中，经训练的神经网络还包括注意力网络，该注意力网络分析图块级预测或者另选地分析图块级特征，并且聚合图块级预测以生成受试者肿瘤的基因型的预测，或者另选地聚合图块级特征以生成图像级特征向量，该图像级特征向量由连接的分类层(或多个分类层)用于生成受试者肿瘤的基因型的预测。总之，流水线工作流的具体实施使得能够准确预测可能是某些癌症(例如，膀胱癌或前列腺癌)的相关驱动因素的受试者基因型。因此，该通过计算机模拟的方法表示用于确定受试者是否具有特定癌症相关基因型的快速、低成本过程，该过程可进一步指导受试者的治疗选项。
[0247]在各种实施方案中，预测展现出已改变的基因型的受试者可经受附加分子测试以确认通过计算机模拟的结果。在各种实施方案中，一旦通过分子测试确认，就可基于已改变的基因型状态向受试者提供适当的医学治疗或医学建议。在各种实施方案中，一旦确认，这些受试者可被认为有资格参加临床试验。在各种实施方案中，预测展现出野生型基因型的受试者对于临床试验可能没有资格并且不需要经受进一步的分子测试，从而节省资源(例如，时间和金钱)。在各种实施方案中，本文所描述的方法和/或非暂态计算机可读介质可作为医疗装置软件(SaMD)(其在磁盘上或经由下载提供)或作为基于网络的软件进行操作。在这种实施方案中，本文所描述的方法可独立于临床试验设置操作。
[0248]本文公开了一种方法，该方法包括：从受试者获得或已经获得肿瘤组织切片的图像；预处理所获得的图像；应用神经网络模型来分析经预处理图像的多个图块以生成切片级预测；以及使用切片级预测确定受试者的基因型。
[0249]在各种实施方案中，预处理所获得的图像包括：通过移除图像中存在的具有过多背景和/或笔迹标示的图块来执行质量控制过程。在各种实施方案中，预处理所获得的图像包括以下操作中的一个或多个操作：移除图像的一个或多个图块的无信息区域；对所获得的图像执行图像染色增强。在各种实施方案中，执行图像染色增强包括执行以下操作中的一个或多个操作：改变所获得的图像的一个或多个图块的染色强度或染色对比度，执行所获得的图像的一个或多个图块的颜色抖动或颜色归一化；以及执行所获得的图像的一个或多个图块的水平或垂直翻转。在各种实施方案中，通过自动化过程执行对所获得的图像的预处理。
[0250]在各种实施方案中，神经网络模型包括卷积神经网络子模型和注意力网络子模型。在各种实施方案中，卷积神经网络子模型针对经预处理图像的一个或多个图块生成图块级预测。在各种实施方案中，注意力网络子模型接收卷积神经网络子模型的图块级预测并生成图像级预测。在各种实施方案中，卷积神经网络子模型和注意力网络子模型各自包括一层或多层节点。在各种实施方案中，卷积神经网络子模型和注意力网络子模型各自包括一个或多个习得参数。在各种实施方案中，注意力网络子模型的该一个或多个习得参数引导来自卷积神经网络子模型的图块级预测的聚合。
[0251]在各种实施方案中，图像级预测是存在或不存在基因型改变。在各种实施方案中，基因型改变包括FGFR改变。在各种实施方案中，FGFR改变包括FGFR3突变、FGFR3融合、或FGFR3突变与FGFR3融合的组合中的任一者。在各种实施方案中，FGFR改变是p.R248C突变、p.G370C突变、p.S249C突变或p.Y373C突变中的任一种。在各种实施方案中，FGFR改变是FGFR3:TACC3V1融合、FGFR3:TACC3V3融合、FGFR3:BAIAP2L1融合、FGFR2:BICC1融合或FGFR2:CASP7融合中的任一种。
[0252]在各种实施方案中，来自受试者的肿瘤组织切片包括膀胱癌。在各种实施方案中，基因型改变包括单核苷酸多态性(SNP)、拷贝数变异(CNV)、或涉及BRCA1或BRCA2基因的基因融合。在各种实施方案中，来自受试者的肿瘤组织切片包括前列腺癌。在各种实施方案中，图像是苏木精和伊红(H&E)染色的组织病理学图像。在各种实施方案中，受试者患有癌症或被怀疑患有癌症。
[0253]在各种实施方案中，本文所公开的方法还包括：基于确定的基因型，确定是否执行进一步的分子测试以确认该确定的基因型。在各种实施方案中，确定是否执行进一步的分子测试包括：响应于确定的基因型指示基因型改变，使该受试者优先经受进一步的分子测试。在各种实施方案中，确定是否执行进一步的分子测试包括：响应于确定的基因型指示野生型基因型，排除该受试者使该受试者不经受进一步的分子测试。
[0254]在各种实施方案中，本文所公开的方法还包括：至少根据该确定的基因型确定是否让受试者参加临床试验。在各种实施方案中，确定是否让受试者参加包括：确定该确定的基因型包括基因型改变；以及至少基于基因型包括基因型改变的确定，确定受试者有资格参加临床试验。在各种实施方案中，确定受试者有资格参加临床试验还基于分子测试，该分子测试确认受试者展现出包括基因型改变的基因型。在各种实施方案中，确定是否让受试者参加包括：确定该确定的基因型不包括基因型改变；以及至少基于基因型不包括基因型改变的确定，确定受试者没有资格参加临床试验。在各种实施方案中，基于该确定的基因型不包括基因型改变的确定，受试者不经受进一步的分子测试。
[0255]在各种实施方案中，本文所公开的方法还包括：至少根据该确定的基因型确定是否施用治疗剂。在各种实施方案中，治疗剂是FGFR激酶抑制剂。在各种实施方案中，FGFR激酶抑制剂是厄达替尼(BALVERSA)。在各种实施方案中，治疗剂是PARP抑制剂。在各种实施方案中，PARP抑制剂是尼拉帕利(ZEJULA)。在各种实施方案中，神经网络模型在膀胱癌图像上展现出至少0.82的auROC性能度量。在各种实施方案中，在针对FGFR的基线患病率为14％的情况下，神经网络模型在测试数据集中的膀胱癌图像上展现出在100％召回率下至少0.22的阳性预测值(PPV)性能度量。在各种实施方案中，神经网络模型在前列腺癌图像上展现出至少0.71的auROC性能度量。在各种实施方案中，在针对PARP的基线患病率为11％的情况下，神经网络模型在测试数据集中的前列腺癌图像上展现出在100％召回率下至少0.14的阳性预测值(PPV)性能度量。在一些示例中，对于在非小细胞肺癌组织图像的背景下预测MET基因型，与本公开一致的神经网络模型展现出至少0.78+/-0.03的auROC性能度量。在各种实施方案中，本文所公开的方法还包括：报告图像的与受试者的基因型最强相关联的一个或多个图块。
[0256]本文还公开了一种方法，该方法包括：获得或已经获得包括训练组织病理学图像的训练数据；通过分析训练组织病理学图像的多个图块来训练神经网络模型，该神经网络模型被配置为生成图像级预测信息，该图像级预测信息用于确定与训练组织病理学图像对应的基因型。在各种实施方案中，神经网络模型包括卷积神经网络子模型和注意力网络子模型。在各种实施方案中，使用包括训练组织病理学图像的训练数据来训练注意力网络子模型。在各种实施方案中，单独训练卷积神经网络子模型和注意力网络子模型。在各种实施方案中，使用训练数据来联合训练卷积神经网络子模型和注意力网络子模型。
[0257]在各种实施方案中，训练数据还包括指示训练组织病理学图像的基因型的参考真实值标记。在各种实施方案中，可从公开可用数据库获得训练组织病理学图像。在各种实施方案中，公开可用数据库是癌症基因组图谱(TCGA)数据库。在各种实施方案中，从私人持有的数据库获得训练组织病理学图像。
[0258]在各种实施方案中，卷积神经网络子模型针对经预处理图像的一个或多个图块生成图块级预测。在各种实施方案中，注意力网络子模型接收神经网络子模型的图块级预测并生成图像级预测。在各种实施方案中，卷积神经网络子模型和注意力网络子模型各自包括一层或多层节点。在各种实施方案中，卷积神经网络子模型和注意力网络子模型各自包括一个或多个习得参数。
[0259]本文另外公开了一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括在由处理器执行时使得该处理器执行以下操作的指令：从受试者获得肿瘤组织切片的图像；预处理所获得的图像；应用神经网络模型来分析经预处理图像的多个图块以生成切片级预测；以及使用切片级预测确定受试者的基因型。在各种实施方案中，使得处理器预处理所获得的图像的指令还包括在由处理器执行时使得该处理器执行以下操作的指令：通过移除图像中存在的具有图像背景和/或笔迹标示的图块来执行质量控制过程。在各种实施方案中，使得处理器预处理所获得的图像的指令还包括在由处理器执行时使得该处理器执行以下操作中的一个或两个操作的指令：移除图像的一个或多个图块的无信息区域；以及对所获得的图像执行图像染色增强。在各种实施方案中，使得处理器执行图像染色增强的指令还包括在由处理器执行时使得该处理器执行以下操作的指令：改变所获得的图像的一个或多个图块的染色强度或染色对比度，执行所获得的图像的一个或多个图块的颜色抖动或颜色归一化；以及执行所获得的图像的一个或多个图块的水平或垂直翻转。在各种实施方案中，其中使得处理器预处理所获得的图像的指令使得该处理器能够通过自动化过程执行预处理。
[0260]在各种实施方案中，神经网络模型包括卷积神经网络子模型和注意力网络子模型。在各种实施方案中，卷积神经网络子模型针对经预处理图像的一个或多个图块生成图块级预测。在各种实施方案中，注意力网络子模型接收卷积神经网络子模型的图块级预测并生成图像级预测。在各种实施方案中，卷积神经网络子模型和注意力网络子模型各自包括一层或多层节点。在各种实施方案中，卷积神经网络子模型和注意力网络子模型各自包括一个或多个习得参数。在各种实施方案中，注意力网络子模型的该一个或多个习得参数引导来自卷积神经网络子模型的图块级预测的聚合。
[0261]在各种实施方案中，图像级预测是存在或不存在基因型改变。在各种实施方案中，基因型改变包括FGFR改变。在各种实施方案中，FGFR改变包括FGFR3突变、FGFR3融合、或FGFR3突变与FGFR3融合的组合中的任一者。在各种实施方案中，FGFR改变是p.R248C突变、p.G370C突变、p.S249C突变或p.Y373C突变中的任一种。在各种实施方案中，FGFR改变是FGFR3:TACC3V1融合、FGFR3:TACC3V3融合、FGFR3:BAIAP2L1融合、FGFR2:BICC1融合或FGFR2:CASP7融合中的任一种。
[0262]在各种实施方案中，来自受试者的肿瘤组织切片包括膀胱癌。在各种实施方案中，基因型改变包括单核苷酸多态性(SNP)、拷贝数变异(CNV)、或涉及BRCA1或BRCA2基因的基因融合。在各种实施方案中，来自受试者的肿瘤组织切片包括前列腺癌。在各种实施方案中，图像是苏木精和伊红(H&E)染色的组织病理学图像。在各种实施方案中，受试者患有癌症或被怀疑患有癌症。
[0263]在各种实施方案中，该非暂时性计算机可读介质还包括在由处理器执行时使得该处理器执行以下操作的指令：基于确定的基因型，确定是否执行进一步的分子测试以确认该确定的基因型。在各种实施方案中，使得处理器确定是否执行进一步的分子测试的指令还包括在由处理器执行时使得该处理器执行以下操作的指令：响应于确定的基因型指示基因型改变，使该受试者优先经受进一步的分子测试。在各种实施方案中，使得处理器确定是否执行进一步的分子测试的指令还包括在由处理器执行时使得该处理器执行以下操作的指令：响应于确定的基因型指示野生型基因型，排除该受试者使该受试者不经受进一步的分子测试。
[0264]在各种实施方案中，该非暂时性计算机可读介质还包括在由处理器执行时使得该处理器执行以下操作的指令：至少根据该确定的基因型确定是否让受试者参加临床试验。在各种实施方案中，使得处理器确定是否让受试者参加的指令还包括在由处理器执行时使得该处理器执行以下操作的指令：确定该确定的基因型包括基因型改变；以及至少基于基因型包括基因型改变的确定，确定受试者有资格参加临床试验。在各种实施方案中，确定受试者有资格参加临床试验还基于分子测试，该分子测试确认受试者展现出包括基因型改变的基因型。在各种实施方案中，使得处理器确定是否让受试者参加的指令还包括在由处理器执行时使得该处理器执行以下操作的指令：确定该确定的基因型不包括基因型改变；以及至少基于基因型不包括基因型改变的确定，确定受试者没有资格参加临床试验。在各种实施方案中，基于该确定的基因型不包括基因型改变的确定，受试者不经受进一步的分子测试。
[0265]在各种实施方案中，该非暂时性计算机可读介质还包括在由处理器执行时使得该处理器执行以下操作的指令：至少根据该确定的基因型确定是否施用治疗剂。在各种实施方案中，治疗剂是FGFR激酶抑制剂。在各种实施方案中，FGFR激酶抑制剂是厄达替尼(BALVERSA)。在各种实施方案中，治疗剂是PARP抑制剂。在各种实施方案中，PARP抑制剂是尼拉帕利(ZEJULA)。
[0266]在各种实施方案中，神经网络模型在膀胱癌模型上展现出至少0.82的auROC性能度量。在各种实施方案中，在针对FGFR的基线患病率为14％的情况下，神经网络模型在测试数据集中的膀胱癌模型上展现出在100％召回率下至少0.22的阳性预测值(PPV)性能度量。在各种实施方案中，神经网络模型在前列腺癌模型上展现出至少0.71的auROC性能度量。在各种实施方案中，在针对PARP的基线患病率为11％的情况下，神经网络模型在测试数据集中的前列腺癌图像上展现出在100％召回率下至少0.14的阳性预测值(PPV)性能度量。在一些示例中，对于在非小细胞肺癌组织图像的背景下预测MET基因型，与本公开一致的神经网络模型展现出至少0.78+/-0.03的auROC性能度量。在各种实施方案中，该非暂时性计算机可读介质还包括在由处理器执行时使得该处理器执行以下操作的指令：报告图像的与受试者的基因型最强相关联的一个或多个图块。
[0267]本文另外公开了一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括在由处理器执行时使得该处理器执行以下操作的指令：获得包括训练组织病理学图像的训练数据；通过分析训练组织病理学图像的多个图块来训练神经网络模型，该神经网络模型被配置为生成图像级预测信息，该图像级预测信息用于确定与训练组织病理学图像对应的基因型。在各种实施方案中，神经网络模型包括卷积神经网络子模型和注意力网络子模型。在各种实施方案中，使用包括训练组织病理学图像的训练数据来训练注意力网络子模型。在各种实施方案中，单独训练卷积神经网络子模型和注意力网络子模型。在各种实施方案中，使用训练数据来联合训练卷积神经网络子模型和注意力网络子模型。
[0268]在各种实施方案中，训练数据还包括指示训练组织病理学图像的基因型的参考真实值标记。在各种实施方案中，可从公开可用数据库获得训练组织病理学图像。在各种实施方案中，公开可用数据库是癌症基因组图谱(TCGA)数据库。在各种实施方案中，从私人持有的数据库获得训练组织病理学图像。
[0269]在各种实施方案中，卷积神经网络子模型针对经预处理图像的一个或多个图块生成图块级预测。在各种实施方案中，注意力网络子模型接收神经网络子模型的图块级预测并生成图像级预测。在各种实施方案中，卷积神经网络子模型和注意力网络子模型各自包括一层或多层节点。在各种实施方案中，卷积神经网络子模型和注意力网络子模型各自包括一个或多个习得参数。
[0270]实施方案1：一种方法，包括：从受试者获得或已经获得肿瘤组织切片的图像；预处理所获得的图像；应用神经网络模型来分析经预处理图像的多个图块以生成切片级预测，或任选地，切片级特征；以及使用切片级预测或切片级特征确定受试者的基因型。
[0271]实施方案2：根据实施方案1所述的方法，其中，预处理所获得的图像包括：通过移除图像中存在的具有图像背景和/或笔迹标示的图块来执行质量控制过程。
[0272]实施方案3：根据实施方案1所述的方法，其中，预处理所获得的图像包括以下操作中的一个或多个操作：移除图像的一个或多个图块的无信息区域；对所获得的图像执行图像染色增强。
[0273]实施方案4：根据实施方案3所述的方法，其中，执行图像染色增强包括执行以下操作中的一个或多个操作：改变所获得的图像的一个或多个图块的染色强度或染色对比度，执行所获得的图像的一个或多个图块的颜色抖动或颜色归一化；以及执行所获得的图像的一个或多个图块的水平或垂直翻转。
[0274]实施方案5：根据实施方案1至4中任一项所述的方法，其中，通过自动化过程执行对所获得的图像的预处理。
[0275]实施方案6：根据实施方案1所述的方法，其中，神经网络模型包括卷积神经网络子模型和注意力网络子模型。
[0276]实施方案7：根据实施方案6所述的方法，其中，卷积神经网络子模型针对经预处理图像的一个或多个图块生成图块级预测。
[0277]实施方案8：根据实施方案6或7所述的方法，其中，注意力网络子模型接收卷积神经网络子模型的图块级预测并生成图像级预测。
[0278]实施方案9：根据实施方案6至8中任一项所述的方法，其中，卷积神经网络子模型和注意力网络子模型各自包括一层或多层节点。
[0279]实施方案10：根据实施方案6至9中任一项所述的方法，其中，卷积神经网络子模型和注意力网络子模型各自包括一个或多个习得参数。
[0280]实施方案11：根据实施方案10所述的方法，其中，注意力网络子模型的该一个或多个习得参数引导来自卷积神经网络子模型的图块级预测的聚合。
[0281]实施方案12：根据实施方案1至11中任一项所述的方法，其中，图像级预测是存在或不存在基因型改变。
[0282]实施方案13：根据实施方案12所述的方法，其中，基因型改变包括FGFR改变。
[0283]实施方案14：根据实施方案13所述的方法，其中，FGFR改变包括FGFR3突变、FGFR3融合、或FGFR3突变与FGFR3融合的组合中的任一者。
[0284]实施方案15：根据实施方案13所述的方法，其中，FGFR改变是p.R248C突变、p.G370C突变、p.S249C突变或p.Y373C突变中的任一种。
[0285]实施方案16：根据实施方案13所述的方法，其中，FGFR改变是FGFR3:TACC3V1融合、FGFR3:TACC3V3融合、FGFR3:BAIAP2L1融合、FGFR2:BICC1融合或FGFR2:CASP7融合中的任一种。
[0286]实施方案17：根据实施方案13至16中任一项所述的方法，其中，来自受试者的肿瘤组织切片包括膀胱癌。
[0287]实施方案18：根据实施方案12所述的方法，其中，基因型改变包括单核苷酸多态性(SNP)、拷贝数变异(CNV)、或涉及BRCA1或BRCA2基因的基因融合。
[0288]实施方案19：根据实施方案18所述的方法，其中，来自受试者的肿瘤组织切片包括前列腺癌。
[0289]实施方案20：根据实施方案1至19中任一项所述的方法，其中，图像是苏木精和伊红(H&E)染色组织病理学图像。
[0290]实施方案21：根据实施方案1至20中任一项所述的方法，其中，受试者患有癌症或被怀疑患有癌症。
[0291]实施方案22：根据实施方案1至21中任一项所述的方法，还包括：
[0292]基于确定的基因型，确定是否执行进一步的分子测试以确认该确定的基因型。
[0293]实施方案23：根据实施方案22所述的方法，其中，确定是否执行进一步的分子测试包括：响应于确定的基因型指示基因型改变，使该受试者优先经受进一步的分子测试。
[0294]实施方案24：根据实施方案22所述的方法，其中，确定是否执行进一步的分子测试包括：响应于确定的基因型指示野生型基因型，排除该受试者使该受试者不经受进一步的分子测试。
[0295]实施方案25：根据实施方案1至21中任一项所述的方法，还包括：至少根据该确定的基因型确定是否让受试者参加临床试验。
[0296]实施方案26：根据实施方案22所述的方法，其中，确定是否让受试者参加包括：确定该确定的基因型包括基因型改变；以及至少基于基因型包括基因型改变的确定，确定受试者有资格参加临床试验。
[0297]实施方案27：根据实施方案26所述的方法，其中，确定受试者有资格参加临床试验还基于分子测试，该分子测试确认受试者展现出包括基因型改变的基因型。
[0298]实施方案20：根据实施方案22所述的方法，其中，确定是否让受试者参加包括：确定该确定的基因型不包括基因型改变；以及至少基于基因型不包括基因型改变的确定，确定受试者没有资格参加临床试验。
[0299]实施方案29：根据实施方案28所述的方法，其中，基于该确定的基因型不包括基因型改变的确定，受试者不经受进一步的分子测试。
[0300]实施方案30：根据实施方案1至22中任一项所述的方法，还包括：至少根据该确定的基因型确定是否施用治疗剂。
[0301]实施方案31：根据实施方案30所述的方法，其中，治疗剂是FGFR激酶抑制剂。
[0302]实施方案32：根据实施方案31所述的方法，其中，FGFR激酶抑制剂是厄达替尼(BALVERSA)。
[0303]实施方案33：根据实施方案30所述的方法，其中，治疗剂是PARP抑制剂。
[0304]实施方案34：根据实施方案33所述的方法，其中，PARP抑制剂是尼拉帕利(ZEJULA)。
[0305]实施方案35：根据实施方案1至5和12至34中任一项所述的方法，其中，神经网络模型在膀胱癌模型上展现出至少0.82的auROC性能度量。
[0306]实施方案36：根据实施方案1至5和12至34中任一项所述的方法，其中，在针对FGFR的基线患病率为14％的情况下，神经网络模型在测试数据集中的膀胱癌图像上展现出在100％召回率下至少0.22的阳性预测值(PPV)性能度量。
[0307]实施方案37：根据实施方案6至34中任一项所述的方法，其中，神经网络模型在前列腺癌图像上展现出至少0.71的auROC性能度量。
[0308]实施方案37.5：根据实施方案6至34中任一项所述的方法，其中，对于基于非小细胞肺癌图像预测MET基因型，神经网络模型展现出至少0.78+/-0.03的auROC性能度量。
[0309]实施方案38：根据实施方案6至34中任一项所述的方法，其中，在针对PARP的基线患病率为11％的情况下，神经网络模型在测试数据集中的前列腺癌模型上展现出在100％召回率下至少0.14的阳性预测值(PPV)性能度量。
[0310]实施方案39：根据实施方案1至38中任一项所述的方法，还包括：报告图像的与受试者的基因型最强相关联的一个或多个图块。
[0311]实施方案40：一种方法，包括：从受试者获得或已经获得肿瘤组织切片的图像；预处理所获得的图像；应用神经网络模型来分析经预处理图像的多个图块以生成切片级预测；使用切片级预测确定受试者的基因型。
[0312]实施方案41：根据实施方案40所述的方法，其中，预处理所获得的图像包括：通过移除图像中存在的具有图像背景和/或笔迹标示的图块来执行质量控制过程。
[0313]实施方案42：根据实施方案40所述的方法，其中，预处理所获得的图像包括以下操作中的一个或多个操作：移除图像的一个或多个图块的无信息区域；对所获得的图像执行图像染色增强。
[0314]实施方案43：根据实施方案42所述的方法，其中，执行图像染色增强包括执行以下操作中的一个或多个操作：改变所获得的图像的一个或多个图块的染色强度或染色对比度，执行所获得的图像的一个或多个图块的颜色抖动或颜色归一化；以及执行所获得的图像的一个或多个图块的水平或垂直翻转。
[0315]实施方案44：根据实施方案40至43中任一项所述的方法，其中，通过自动化过程执行对所获得的图像的预处理。
[0316]实施方案45：根据实施方案40所述的方法，其中，神经网络模型包括卷积神经网络子模型和注意力网络子模型。
[0317]实施方案46：根据实施方案45所述的方法，其中，卷积神经网络子模型针对经预处理图像的一个或多个图块生成图块级预测。
[0318]实施方案47：根据实施方案45或46所述的方法，其中，注意力网络子模型接收卷积神经网络子模型的图块级预测并生成图像级预测。
[0319]实施方案48：根据实施方案45至47中任一项所述的方法，其中，卷积神经网络子模型和注意力网络子模型各自包括一层或多层节点。
[0320]实施方案49：根据实施方案45至48中任一项所述的方法，其中，卷积神经网络子模型和注意力网络子模型各自包括一个或多个习得参数。
[0321]实施方案50：根据实施方案49所述的方法，其中，注意力网络子模型的该一个或多个习得参数引导来自卷积神经网络子模型的图块级预测的聚合。
[0322]实施方案51：根据实施方案40至50中任一项所述的方法，其中，图像级预测是存在或不存在基因型改变。
[0323]实施方案52：根据实施方案51所述的方法，其中，基因型改变包括FGFR改变。
[0324]实施方案53：根据实施方案52所述的方法，其中，FGFR改变包括FGFR3突变、FGFR3融合、或FGFR3突变与FGFR3融合的组合中的任一者。
[0325]实施方案54：根据实施方案52所述的方法，其中，FGFR改变是p.R248C突变、p.G370C突变、p.S249C突变或p.Y373C突变中的任一种。
[0326]实施方案55：根据实施方案52所述的方法，其中，FGFR改变是FGFR3:TACC3V1融合、FGFR3:TACC3V3融合、FGFR3:BAIAP2L1融合、FGFR2:BICC1融合或FGFR2:CASP7融合中的任一种。
[0327]实施方案56：根据实施方案52至55中任一项所述的方法，其中，来自受试者的肿瘤组织切片包括膀胱癌。
[0328]实施方案57：根据实施方案51所述的方法，其中，基因型改变包括单核苷酸多态性(SNP)、拷贝数变异(CNV)、或涉及BRCA1或BRCA2基因的基因融合。
[0329]实施方案58：根据实施方案57所述的方法，其中，来自受试者的肿瘤组织切片包括前列腺癌。
[0330]实施方案59：根据实施方案40至58中任一项所述的方法，其中，图像是苏木精和伊红(H&E)染色组织病理学图像。
[0331]实施方案60：根据实施方案40至59中任一项的方法，其中，受试者患有癌症或被怀疑患有癌症。
[0332]实施方案61：根据实施方案40至60中任一项所述的方法，还包括：基于确定的基因型，确定是否执行进一步的分子测试以确认该确定的基因型。
[0333]实施方案62：根据实施方案61所述的方法，其中，确定是否执行进一步的分子测试包括：响应于确定的基因型指示基因型改变，使该受试者优先经受进一步的分子测试。
[0334]实施方案63：根据实施方案62所述的方法，其中，确定是否执行进一步的分子测试包括：响应于确定的基因型指示野生型基因型，排除该受试者使该受试者不经受进一步的分子测试。
[0335]实施方案64：根据实施方案40至61中任一项所述的方法，还包括：至少根据该确定的基因型确定是否让受试者参加临床试验。
[0336]实施方案65：根据实施方案61所述的方法，其中，确定是否让受试者参加包括：确定该确定的基因型包括基因型改变；以及至少基于基因型包括基因型改变的确定，确定受试者有资格参加临床试验。
[0337]实施方案66：根据实施方案65所述的方法，其中，确定受试者有资格参加临床试验还基于分子测试，该分子测试确认受试者展现出包括基因型改变的基因型。
[0338]实施方案67：根据实施方案66所述的方法，其中，确定是否让受试者参加包括：确定该确定的基因型不包括基因型改变；以及至少基于基因型不包括基因型改变的确定，确定受试者没有资格参加临床试验。
[0339]实施方案68：根据实施方案67所述的方法，其中，基于该确定的基因型不包括基因型改变的确定，受试者不经受进一步的分子测试。
[0340]实施方案69：根据实施方案40至61中任一项所述的方法，还包括：
[0341]至少根据该确定的基因型确定是否施用治疗剂。
[0342]实施方案70：根据实施方案69所述的方法，其中，治疗剂是FGFR激酶抑制剂。
[0343]实施方案71：根据实施方案70所述的方法，其中，FGFR激酶抑制剂是厄达替尼(BALVERSA)。
[0344]实施方案72：根据实施方案69所述的方法，其中，治疗剂是PARP抑制剂。
[0345]实施方案73：根据实施方案69所述的方法，其中，PARP抑制剂是尼拉帕利(ZEJULA)。
[0346]实施方案74：根据实施方案40至44和51至63中任一项所述的方法，其中，神经网络模型在膀胱癌模型上展现出至少0.82的auROC性能度量。
[0347]实施方案75：根据实施方案40至44和51至63中任一项所述的方法，其中，在针对FGFR的基线患病率为14％的情况下，神经网络模型在测试数据集中的膀胱癌模型上展现出在100％召回率下至少0.22的阳性预测值(PPV)性能度量。
[0348]实施方案76：根据实施方案45至73中任一项所述的方法，其中，神经网络模型在前列腺癌模型上展现出至少0.71的auROC性能度量。
[0349]实施方案77：根据实施方案45至73中任一项所述的方法，其中，在针对PARP的基线患病率为11％的情况下，神经网络模型在测试数据集中的前列腺癌模型上展现出在100％召回率下至少0.14的阳性预测值(PPV)性能度量。
[0350]实施方案78：根据实施方案40至77中任一项所述的方法，还包括：报告图像的与受试者的基因型最强相关联的一个或多个图块。
[0351]实施方案79：一种方法，包括：获得或已经获得包括训练组织病理学图像的训练数据；通过分析训练组织病理学图像的多个图块来训练神经网络模型，该神经网络模型被配置为生成图像级预测信息，该图像级预测信息用于确定与训练组织病理学图像对应的基因型。
[0352]实施方案80：根据实施方案79所述的方法，其中，神经网络模型包括卷积神经网络子模型和注意力网络子模型。
[0353]实施方案81：根据实施方案80所述的方法，其中，使用包括训练组织病理学图像的训练数据来训练注意力网络子模型。
[0354]实施方案82：根据实施方案81所述的方法，其中，单独训练卷积神经网络子模型和注意力网络子模型。
[0355]实施方案83：根据实施方案81所述的方法，其中，使用训练数据来联合训练卷积神经网络子模型和注意力网络子模型。
[0356]实施方案84：根据实施方案79至83中任一项所述的方法，其中，训练数据还包括指示训练组织病理学图像的基因型的参考真实值标记。
[0357]实施方案85：根据实施方案79至84中任一项所述的方法，其中，训练组织病理学图像是从公开可用数据库获得的。
[0358]实施方案86：根据实施方案85所述的方法，其中，公开可用数据库是癌症基因组图谱(TCGA)数据库。
[0359]实施方案87：根据实施方案79至84中任一项所述的方法，其中，训练组织病理学图像是从私人持有的数据库获得的。
[0360]实施方案88：根据实施方案80至87中任一项所述的方法，其中，卷积神经网络子模型针对经预处理图像的一个或多个图块生成图块级预测。
[0361]实施方案89：根据实施方案80至88中任一项所述的方法，其中，注意力网络子模型接收神经网络子模型的图块级预测并生成图像级预测。
[0362]实施方案90：根据实施方案80至89中任一项所述的方法，其中，卷积神经网络子模型和注意力网络子模型各自包括一层或多层节点。
[0363]实施方案91：根据实施方案80至90中任一项所述的方法，其中，卷积神经网络子模型和注意力网络子模型各自包括一个或多个习得参数。
[0364]实施方案92：一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括在由处理器执行时使得该处理器执行操作的指令，这些操作包括根据实施方案1至91中任一项所述的方法中的步骤。
[0365]虽然已相对于所示的实施方案具体描述了本公开，但应当理解，可基于本公开作出各种改变、修改和改编，并且这些改变、修改和改编旨在在本公开的范围内。虽然已结合当前被认为是最实用且优选的实施方案描述了本公开，但应当理解，本公开不限于所公开的实施方案，而是相反地，旨在涵盖包括在如由上文和下文参考的各种实施方案所描述的本发明的基本原理的范围内的各种修改和等效布置。
