在实际的软件开发过程中，经常会遇到需要从不同的数据源合并数据的情况。例如，当两个不同的数据库服务器上存在相同的数据表结构时，可能需要将它们合并，同时去除重复的记录。虽然.NET框架提供了一些基本的数据操作功能，但并没有直接提供去除重复项的内置方法。因此，需要编写自定义的函数来实现这一功能。
以下是一个使用C#或VB.NET合并两个数据表并去除重复项的示例代码。
在项目中，需要从两个不同的数据库中获取数据，并且需要消除两个不同数据库表中的重复项。如果这两个数据库位于同一个服务器上，可以通过数据库存储过程使用“Union”操作来实现。但是，当涉及到两个不同的服务器时，就需要使用DataSet.DataTable.Merge方法，但这种方法不会自动去除最终结果集中的重复项。因此，编写了一个函数，可以在VB.NET或C#中使用，以合并数据集或数据表并去除重复项。
以下是基本的代码示例（使用VB.NET编写，很容易转换为C#）：
Public Shared Function MergeResultSets() As DataSet
Dim ds As DataSet, checkCount As Integer = 0, rowPosition As String = ""
Try
ds = DAL.DataAcess.Sample(param1, param2)
For i As Integer = 0 To ds.Tables(0).Rows.Count - 1
For j As Integer = 0 To ds.Tables(1).Rows.Count - 1
If Equals(ds.Tables(0).Rows(i).ItemArray().Count, ds.Tables(1).Rows(j).ItemArray().Count) Then
For k As Integer = 0 To ds.Tables(0).Rows(i).ItemArray().Count - 1
If Equals(ds.Tables(0).Rows(i).ItemArray(k), ds.Tables(1).Rows(j).ItemArray(k)) Then
checkCount = checkCount + 1
End If
Next
If checkCount = ds.Tables(1).Rows(j).ItemArray().Count Then
rowPosition = rowPosition & j.ToString() & ","
checkCount = 0
End If
End If
Next
checkCount = 0
Next
Dim sa As Array = Split(rowPosition.TrimEnd(","), ",")
For rp As Integer = 0 To sa.Length - 1
ds.Tables(1).Rows(sa(rp)).Delete()
Next
ds.Tables(1).AcceptChanges()
ds.Tables(0).Merge(ds.Tables(1))
Return ds ' this has the two datatables merged as one dataset / datatable without duplicate rows.
Catch ex As Exception
Return Nothing
End Try
End Function
这段代码首先定义了一个名为MergeResultSets的函数，它接受两个参数param1和param2，然后返回一个DataSet对象。函数的主体部分首先初始化了一个DataSet对象ds，以及用于检查重复项的变量checkCount和rowPosition。
接下来，代码使用两个嵌套的for循环遍历两个数据表的所有行。在内部循环中，它比较两个数据表中的行是否相等。如果相等，它会增加checkCount的值。如果checkCount的值等于第二个数据表的行数，这意味着找到了一个重复的行，因此将该行的索引添加到rowPosition字符串中。
在遍历完所有行之后，代码使用Split函数将rowPosition字符串分割成一个数组sa，然后遍历这个数组，删除对应的重复行。最后，使用AcceptChanges方法接受更改，然后使用Merge方法将两个数据表合并为一个数据集，返回这个数据集。